由于该网站的robots.txt文件存在限制指令……这种会影响网站优化效果吗？

发布时间：2018-09-17 来源：本站原创作者：野狼SEO团队阅读：27161次

有时候搜索网站的时候会出现提示：

由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 - 了解详情

这种情况就是属于robots.txt封禁，禁止蜘蛛进行抓取，比如淘宝网站是这样的：

你可以访问https://www.taobao.com/robots.txt 会发现他是这样写的：

上边写的是针对几个大的搜索引擎，下边写的是针对所有搜索引擎。这个写法是比较绝情的，而且看出来写这的人似乎是怕有些搜索引擎识别不了一些代码，所以分开写，然后再写个总的，总之就是让这个封禁兼容性更好，让搜索引擎都能识别到，可谓是煞费苦心。

如果你的网站也提示这，就要在网站根目录找到这个文件（robots.txt），然后分析一下是不是禁止蜘蛛抓取，想办法去掉就可以了，你可以这样写：

User-Agent: *
Allow: /

这样搜索引擎就会抓取。不过当你修改之后，可能还需要搜索引擎适应一段时间，这个时间长短主要取决于搜索引擎过来抓取的频度，如果是天天来，可能需要一周时间能让快照变正常。

如果您需要网站内部优化，可以联系微信电话：13526646200 给你做一个网站的内部检查，利于SEO，效果好，排名高！也可以扫描文末的二维码，没联系我们。

十六年网站建设相关经验
一站式为您提供网站相关服务

本文提到这些服务【官方直供，放心选择】：

继续浏览有关网站优化的内容

新评论