BaiduSpider为何在Apache日志中寻不到你的足迹

已有 1077 人阅读此文 | 2016-07-06 01:30 | 来源: 刘传鹏博客 | 作者: 刘传鹏

百度蜘蛛

今天,有人问我:他想从Apache日志中看看百度蜘蛛来抓取网站的时间,以便确定在固定时间发帖是否已经让蜘蛛养成了在固定时间来爬的效果,结果发现日志中没有BaiduSpider标记,但在百度站长工具里查看确实有蜘蛛来访的记录,既然蜘蛛来过,为什么在日志中查不到呢?

其实在Apache日志默认是不显示来访域名和浏览器信息的,需要自己修改Log配置才行。

下面以Apache 2.4为例,说下Apache日志该如何配置,才能显示蜘蛛来访记录。

Apache日志格式配置

 

在上图中,1和2定义日志输出的格式和名称,而combined和common就是定义日志格式的名称,日志具体表示的含义大家可以百度一下就知道了,这里就不详细说明了。

3表示日志的名称为”logs/access.log”,而输出日志格式使用common即图中2,我们只需要把图中3中的common修改为combined就可以了

common输出的日志格式如下

无BaiDuSpider

combined输出的日志格式如下

BaiduSpider标签

本文地址: http://liuchuanpeng.com/wangluoyingxiao/673.html

已有 10 人评论 网友评论

必填

选填

选填

刘传鹏博客|专注分享互联网商业模式和网站运营推广策略的博客