robots 在线检查、在线robots检查、在线robots check、爬虫robots检查

搜索引擎是流量重点来源,有时候它抓取也会带来站点访问负担,以及一些信息隐私问题,因此我们一般会通过设置robots.txt文件,放到站点根目录,搜索引擎爬虫就会根据相关设置来决定是否收录爬取,相关站点目录及文件。robot检测,觉得不错欢迎转发,另外有问题请反馈!


robots检测结果:   
规则解析状态
user-agent: baiduspider开始设置:baiduspider成功
allow:/允许baiduspider[百度搜索] 访问网站任何目录及文件(全允许)成功
user-agent: baiduspider-image开始设置:baiduspider-image成功
allow:/允许baiduspider-image[百度图片搜索] 访问网站任何目录及文件(全允许)成功
user-agent: baiduspider-video开始设置:baiduspider-video成功
allow:/允许baiduspider-video[baiduspider-video] 访问网站任何目录及文件(全允许)成功
user-agent: baiduspider-news开始设置:baiduspider-news成功
allow:/允许baiduspider-news[百度新闻搜索] 访问网站任何目录及文件(全允许)成功
user-agent: googlebot开始设置:googlebot成功
allow:/允许googlebot[google搜索] 访问网站任何目录及文件(全允许)成功
user-agent: msnbot开始设置:msnbot成功
allow:/允许msnbot[msn搜索] 访问网站任何目录及文件(全允许)成功
user-agent: youdaobot开始设置:youdaobot成功
allow:/允许youdaobot[有道搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou web spider开始设置:sogou web spider成功
allow:/允许sogou web spider[搜狗网页搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou inst spider开始设置:sogou inst spider成功
allow:/允许sogou inst spider[搜狗PC搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou spider2开始设置:sogou spider2成功
allow:/允许sogou spider2[搜狗PC搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou blog开始设置:sogou blog成功
allow:/允许sogou blog[搜狗博客搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou news spider开始设置:sogou news spider成功
allow:/允许sogou news spider[搜狗新闻搜索] 访问网站任何目录及文件(全允许)成功
user-agent: sogou orion spider开始设置:sogou orion spider成功
allow:/允许sogou orion spider[sogou orion spider] 访问网站任何目录及文件(全允许)成功
user-agent: jikespider开始设置:jikespider成功
allow:/允许jikespider[jikespider] 访问网站任何目录及文件(全允许)成功
user-agent: sosospider开始设置:sosospider成功
allow:/允许sosospider[360搜索] 访问网站任何目录及文件(全允许)成功
user-agent: *开始设置:所有搜索引擎成功
disallow:/禁止所有其它搜索引擎访问网站任何目录及文件(全允许)成功
请输入地址
请输入地址