北京赛车 pk10开奖记录_Toyou热购彩票官网
香港高速VIP雲機房火爆上線啦!無需備案豪鐳抹,開通即用!配套《巔雲自助建站系統3.0》將帶給您飛一般的可視化拖拽建站體驗壽惟玩,歡迎免費體驗定。

Apache下通過shell腳本提交網站404死鏈的方法

一佰互聯網站制作(www.yinxi.net) 發布日期 2019-04-23 09:20:58 瀏覽數: 27

網站運營人員對于死鏈這個概念一定不陌生百椿簇,網站的一些數據刪除或頁面改版等都容易制造死鏈微,影響用戶體驗不說粒,過多的死鏈還會影響到網站的整體權重或排名箱。

百度站長平台提供的死鏈提交工具,可將網站存在的死鏈(協議死鏈天痰捷、404頁面)進行提交,可快速刪除死鏈,幫助網站SEO優化瀝。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩泥,工作中我們提倡復雜自動化匪土,北京赛车一個過去了。程嵇邢滑裴陸榮翁所以本文我們一起交流分享Apache服務中通過shell腳本整理網站死鏈龔,便于我們提交概百。

扛胳、

1.配置Apache記錄搜索引擎

Apache是目前網站建設最為主流的web服務掃,但是apache的日志文件默認是不記錄百度摧槐臍、谷歌等各大搜索引擎的爬取程序的盧焚,所以首先需要我們設置Apache的配置文件迪。

找到Apache的配置文件httpd.conf表暢乏,在配置文件中找到下面兩行切虜︰

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默認采用的是common色汗,這里我們北京赛车呼吸聲?6.科學的學習方法只需要將common這一行前面加#注釋掉,然後將combined這一行前的#去掉即可甜遍。然後保存重啟Apache服務弧。

注老︰如果你的服務器上添加了多個站點臥崗狸,每個站點有單獨的配置文件盤未煉,則我們只需要在相應站點的配置文件中設置CustomLog項即可輝,例如師椿︰

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
 ServerName www.chanzhi.org
 ServerAlias chanzhi.org
 ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 SetOutputFilter DEFLATE
 Options FollowSymLinks ExecCGI
 Require all granted
 AllowOverride All
 Order allow,deny
 Allow from all
 DirectoryIndex index.html index.php

下面是配置前後的網站日志記錄格式柬帽︰

配置前鴻︰

配置後達廣︰

2.編寫shell腳本

我們通過shell腳本獲取網站日志中指定爬蟲的抓取記錄喪莆,然後匯總到一個文件中伎芍輛,便于後期使用巷。代碼如下戒嘔,比如保存為deathlink.sh

#!/bin/bash
#初始化變量
#定義蜘蛛UA信息(默認是百度蜘蛛)
UA="+http://www.baidu.com/search/spider.html"
#前一天的日期(apache日志)
DATE=`date +%Y%m%d -d "1 day ago"`
#定義日志路徑
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定義死鏈文件存放路徑
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定義網站訪問地址
website=http://www.chanzhi.org
#分析日志並保存死鏈數據
for url in `awk -v str="${UA}" "$9=="404" && $15~str {print $7}" ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用該腳本時趁,根據自己服務器情況調整下路徑和字段即可訛,然後執行腳本,河︰

bash deathlink.sh

3.提交死鏈

執行上面腳本時候射,就會在指定目錄下生成包含所有獲取的404頁面鏈接的文件鷗慷噓,每個連接佔一行首。例如效渤︰

最後在站長平台提交死鏈頁面中蜂膘鞠,填寫自己的死鏈文件地址即可喂爸,例如猩怪瘡︰

百度在審核通過之後擅回壞,會將已經收錄的失效鏈接刪除漚海焚,以避免失效頁面鏈接對網站造成不良的影響寬隆。

總結

以上所述是小編給大家介紹的Apache下通過shell腳本提交網站404死鏈的方法可,希望對大家有所幫助播凳,如果大家有任何疑問請給我留言穗,小編會及時回復大家的突廠。在此也非常感謝大家對網頁設計網站的支持!

一佰互聯是全國知名建站品牌服務商,我們有九年網站建設芭功納、網站制作請翹濘、網頁設計財伶猩、php開發和域名注冊及虛擬主機服務經驗窩趴,提供的自助建站服務更是全國有名胎籬。近年來還整合團隊優勢自主開發了可視化多用戶”巔雲建站系統“3.0平台版逞藍刻,拖拽排版網站制作設計樞,輕松實現pc站激奉、手機微網站剎、小程序靛、APP一體化全網營銷網站建設 荊勝,已成功的為全國上百家網絡公司提供自助建站平台搭建服務漚話。

相關新聞more

09
04月
用好這5個廣告文案妙招木,最糾結的用戶也會被你

編者按喪宛︰設計與文案息息相關渺,學習文案可以讓視覺傳達更加精準和效率伯艘佰。本文通俗易懂滬,超多案例享,設計師也能輕松掌握文案技巧空墾稈。有一個很有趣的現象辱緯︰我... >>詳情

29
04月
PHP 提取圖片img標記中的任意屬性的簡單

復制代碼 代碼如下:<?php/* PHP正則提取圖片img標記中的任意屬性 */$str = "<center><... >>詳情

10
05月
我是如何做到建站一周 日IP最高1000純流

總是看到不少高手們在分享自己的推廣經驗示蠟,在這里滌彌,自己花了一周時間泰,推廣一個電影站的經歷解,覺得效果還是比較明顯的材八衫,所以把自己的一些經驗分享給大... >>詳情

17
05月
大型集團企業網站建設策劃方案解讀-www.y

window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":... >>詳情

營業執照. cdn加速服務 備案系統認證 網絡安全協會 我們的支付方式AAA認證

7x24小時服務電話:18581389571 傳真:023-85725751 免費建站交流群溉︰236412099 139947842(自助建站交流) E-Mail:post@yinxi.net 網站投訴:
重慶楚捷科技有限公司 一佰互聯©版權所有 自助建站(www.yinxi.net,Inc.) 2001-2020 All Rights Reserved 本站程序受法律保護,網站法律顧問搓蔬︰ITLAW-莊毅雄律師
中華人民共和國信息產業部網站備案號:渝ICP備12000592號
pk10开奖 北京赛车pk10开奖记录