搜索引擎是流量重点来源，有时候它抓取也会带来站点访问负担，以及一些信息隐私问题，因此我们一般会通过设置robots.txt文件，放到站点根目录，搜索引擎爬虫就会根据相关设置来决定是否收录爬取，相关站点目录及文件。robot检测，觉得不错欢迎转发，另外有问题请反馈！ 华纳云_CN2物理服务器888元/月_5M CN2云16元/月
| 规则 | 解析 | 状态 |
|---|---|---|
| user-agent: baiduspider | 开始设置：baiduspider | 成功 |
| allow:/ | 允许baiduspider[百度搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: baiduspider-image | 开始设置：baiduspider-image | 成功 |
| allow:/ | 允许baiduspider-image[百度图片搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: baiduspider-video | 开始设置：baiduspider-video | 成功 |
| allow:/ | 允许baiduspider-video[baiduspider-video] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: baiduspider-news | 开始设置：baiduspider-news | 成功 |
| allow:/ | 允许baiduspider-news[百度新闻搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: googlebot | 开始设置：googlebot | 成功 |
| allow:/ | 允许googlebot[google搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: msnbot | 开始设置：msnbot | 成功 |
| allow:/ | 允许msnbot[msn搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: youdaobot | 开始设置：youdaobot | 成功 |
| allow:/ | 允许youdaobot[有道搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou web spider | 开始设置：sogou web spider | 成功 |
| allow:/ | 允许sogou web spider[搜狗网页搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou inst spider | 开始设置：sogou inst spider | 成功 |
| allow:/ | 允许sogou inst spider[搜狗PC搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou spider2 | 开始设置：sogou spider2 | 成功 |
| allow:/ | 允许sogou spider2[搜狗PC搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou blog | 开始设置：sogou blog | 成功 |
| allow:/ | 允许sogou blog[搜狗博客搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou news spider | 开始设置：sogou news spider | 成功 |
| allow:/ | 允许sogou news spider[搜狗新闻搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sogou orion spider | 开始设置：sogou orion spider | 成功 |
| allow:/ | 允许sogou orion spider[sogou orion spider] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: jikespider | 开始设置：jikespider | 成功 |
| allow:/ | 允许jikespider[jikespider] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: sosospider | 开始设置：sosospider | 成功 |
| allow:/ | 允许sosospider[360搜索] 访问网站任何目录及文件（全允许） | 成功 |
| user-agent: * | 开始设置：所有搜索引擎 | 成功 |
| disallow:/ | 禁止所有其它搜索引擎访问网站任何目录及文件（全允许） | 成功 |
