spider(网络蜘蛛），网络内容收集的爬虫，很多站长知道。百度爬虫经常来站点搜索，就会将新资料快速收录到百度搜索中。但有时自己站点有一些而且内容抓取工具来抓取，它们将自己user agent伪造为baidu spider，我们真假难辨。我们从web server log里面可以找到访问记录，得到ip 地址，使用该工具就可以查询地址是否是baidu真假爬虫啦。觉得不错欢迎转发，另外有问题请反馈！ 华纳云_CN2物理服务器888元/月_5M CN2云16元/月
