网站日志中百度蜘蛛的真伪判断
Seo / houtizong 发布于 3年前 232
我们查看网站日志的时候会看到百度蜘蛛：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序，冒充百度蜘蛛来爬行我们的网站，那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。
其实非常简单如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。
首先查看百度蜘蛛的IP，然后点击开始运行，输入cmd，打开命令行，然后输入tracert 61.135.186.12，这里61.135.186.12代表网站日志里的百度蜘蛛的IP，那么可以看到如下的内容：
如果里面有crawl.baidu.com的内容，那么说明就是真正的百度蜘蛛，如假包换。
上面这个截图里面含有ad，（baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]），那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。
如果是真正的百度蜘蛛那么就是类似于（baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23]）这样的结果就是真正的百度蜘蛛。
经过观察LiboSEO自己网站的百度蜘蛛IP并经过测试得出：IP范围在220.181.108.11 ~ 220.181.108.210 之间和123.125.71.11 ~ 123.125.71.161之间的都是真正的百度蜘蛛IP。这样记录下经常见的百度蜘蛛IP，方便一眼就看出日志里的是否真正的百度蜘蛛。
请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！
技术博客集 - 网站简介：
前后端技术：
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成
网站主要作用：
1.编程技术分享及讨论交流，内置聊天系统;
2.测试交流框架问题，比如：Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识，如有侵权请发邮件到站长邮箱，站长会尽快处理;
4.站长邮箱：[email protected];
文章归档
文章标签
友情链接
