几乎所有的搜索引擎都是遵守robots.txt协议的。

为什么说“几乎所有”，因为目前为止，没有见到过哪个搜索引擎明确说不遵守这个协议。但确实有时候会观察到部分搜索引擎没有遵守这个，甚至是有的并不去抓取这个协议。但，可能是日志观察方法等问题，造成的。

只要是规范的robots.txt，搜索引擎也都遵守，可能会因为有的不规范或者搜索引擎没看懂，而不遵守。

当然 ，也不排除一些新出的搜索引擎开发的时候忽略了这个。

如果您发现有搜索蜘蛛不遵守robots.txt协议的，也欢迎留言给我们。