百度站長平臺提供的死鏈提交工具,可將網站存在的死鏈(協議死鏈、404頁面)進行提交,可快速刪除死鏈,幫助網站SEO優化。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩，工作中我們提倡複雜自動化，所以本文我們一起交流分享Apache服務中通過shell腳本整理網站死鏈，便於我們提交。
1.配置Apache記錄搜索引擎
Apache是目前網站建設最爲主流的web服務，但是apache的日誌文件默認是不記錄百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我們設置Apache的配置文件。
找到Apache的配置文件httpd.conf，在配置文件中找到下面兩行：
CustomLog "logs/access_log" common #CustomLog "logs/access_log" combined
默認採用的是common，這裏我們只需要將common這一行前面加#註釋掉,然後將combined這一行前的#去掉即可。然後保存重啓Apache服務。
注：如果你的服務器上添加了多個站點，每個站點有單獨的配置文件，則我們只需要在相應站點的配置文件中設置CustomLog項即可，例如：
vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org" ServerName www.chanzhi.org ServerAlias chanzhi.org ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log" CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined SetOutputFilter DEFLATE Options FollowSymLinks ExecCGI Require all granted AllowOverride All Order allow,deny Allow from all DirectoryIndex index.html index.php
下面是配置前後的網站日誌記錄格式：
配置前：
配置後：
2.編寫shell腳本
我們通過shell腳本獲取網站日誌中指定爬蟲的抓取記錄，然後彙總到一個文件中，便於後期使用。代碼如下，比如保存爲deathlink.sh
#!/bin/bash
#初始化變量
#定義蜘蛛UA信息（默認是百度蜘蛛）
UA='+http://www.baidu.com/search/spider.html'
#前一天的日期（apache日誌）
DATE=`date +%Y%m%d -d "1 day ago"`
#定義日誌路徑
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定義死鏈文件存放路徑
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定義網站訪問地址
website=http://www.chanzhi.org
#分析日誌並保存死鏈數據
for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done大家在使用該腳本時，根據自己服務器情況調整下路徑和字段即可，然後執行腳本,：
bash deathlink.sh
3.提交死鏈
執行上面腳本時候，就會在指定目錄下生成包含所有獲取的404頁面鏈接的文件，每個連接佔一行。例如：
最後在站長平臺提交死鏈頁面中，填寫自己的死鏈文件地址即可，例如：
百度在審覈通過之後，會將已經收錄的失效鏈接刪除，以避免失效頁面鏈接對網站造成不良的影響。