野狼SEO团队,纯白帽SEO倡导者!17年专注网站优化服务,支持月付!  [点击查看公司宣传册]
专注纯白帽、整站正规优化
让你排名上升,流量暴涨!
网站优化服务电话
0371-56789-390
您的位置:首页 > SEO问答 > 搜索引擎是否都遵守robots.txt协议?

搜索引擎是否都遵守robots.txt协议?

解答者:野狼SEO团队  |   浏览456次   2022-07-11 09:09:34

几乎所有的搜索引擎都是遵守robots.txt协议的。

为什么说“几乎所有”,因为目前为止,没有见到过哪个搜索引擎明确说不遵守这个协议。但确实有时候会观察到部分搜索引擎没有遵守这个,甚至是有的并不去抓取这个协议。但,可能是日志观察方法等问题,造成的。

只要是规范的robots.txt,搜索引擎也都遵守,可能会因为有的不规范或者搜索引擎没看懂,而不遵守。

当然 ,也不排除一些新出的搜索引擎开发的时候忽略了这个。

如果您发现有搜索蜘蛛不遵守robots.txt协议的,也欢迎留言给我们。