服务器之家

服务器之家 > 正文

Apache下通过shell脚本提交网站404死链的方法

时间:2022-02-17 20:22     来源/作者:1385850

人员对于死链这个概念一定不陌生,网站的一些数据删除或页面改版等都容易制造死链,影响用户体验不说,过多的死链还会影响到网站的整体权重或排名。

百度站长平台提供的死链提交工具,可将网站存在的死链(协议死链、404页面)进行提交,可快速删除死链,帮助网站seo优化。在提交死链的文件中逐个手动填写死链的话太麻烦,工作中我们提倡复杂自动化,所以本文我们一起交流分享apache服务中通过shell脚本整理网站死链,便于我们提交。

Apache下通过shell脚本提交网站404死链的方法

1.配置apache记录搜索引擎

apache是目前网站建设最为主流的web服务,但是apache的日志文件默认是不记录百度、谷歌等各大搜索引擎的爬取程序的,所以首先需要我们设置apache的配置文件。

找到apache的配置文件httpd.conf,在配置文件中找到下面两行:

?
1
2
customlog "logs/access_log" common
 #customlog "logs/access_log" combined

默认采用的是common,这里我们只需要将common这一行前面加#注释掉,然后将combined这一行前的#去掉即可。然后保存重启apache服务。

注:如果你的服务器上添加了多个站点,每个站点有单独的配置文件,则我们只需要在相应站点的配置文件中设置customlog项即可,例如:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 serveradmin [email protected] documentroot "/data/wwwroot/www.chanzhi.org"
 servername www.chanzhi.org
 serveralias chanzhi.org
 errorlog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 customlog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 setoutputfilter deflate
 options followsymlinks execcgi
 require all granted
 allowoverride all
 order allow,deny
 allow from all
 directoryindex index.html index.php

下面是配置前后的网站日志记录格式:

配置前:

Apache下通过shell脚本提交网站404死链的方法

配置后:

Apache下通过shell脚本提交网站404死链的方法

2.编写shell脚本

我们通过shell脚本获取网站日志中指定爬虫的抓取记录,然后汇总到一个文件中,便于后期使用。代码如下,比如保存为deathlink.sh

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#!/bin/bash
#初始化变量
#定义蜘蛛ua信息(默认是百度蜘蛛)
ua='+http://www.baidu.com/search/spider.html'
#前一天的日期(apache日志)
date=`date +%y%m%d -d "1 day ago"`
#定义日志路径
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${date}.log
#定义死链文件存放路径
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定义网站访问地址
website=http://www.chanzhi.org
#分析日志并保存死链数据
for url in `awk -v str="${ua}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用该脚本时,根据自己服务器情况调整下路径和字段即可,然后执行脚本,:

?
1
bash deathlink.sh

3.提交死链

执行上面脚本时候,就会在指定目录下生成包含所有获取的404页面链接的文件,每个连接占一行。例如:

Apache下通过shell脚本提交网站404死链的方法

最后在站长平台提交死链页面中,填写自己的死链文件地址即可,例如:

Apache下通过shell脚本提交网站404死链的方法

百度在审核通过之后,会将已经收录的失效链接删除,以避免失效页面链接对网站造成不良的影响。

总结

以上所述是小编给大家介绍的apache下通过shell脚本提交网站404死链的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对服务器之家网站的支持!

原文链接:https://my.oschina.net/u/1385850/blog/1544586

标签:

相关文章

热门资讯

蜘蛛侠3英雄无归3正片免费播放 蜘蛛侠3在线观看免费高清完整
蜘蛛侠3英雄无归3正片免费播放 蜘蛛侠3在线观看免费高清完整 2021-08-24
2022年最旺的微信头像大全 微信头像2022年最新版图片
2022年最旺的微信头像大全 微信头像2022年最新版图片 2022-01-10
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
返回顶部