野狼SEO团队,中国纯白帽SEO倡导者!12年专注网站优化服务,支持月付!  [点击查看公司宣传册]
专注纯白帽、整站正规优化
让你排名上升,流量上涨!
网站优化服务电话
0371-56789-390
详细内容

由于该网站的robots.txt文件存在限制指令……这种会影响网站优化效果吗?

发布时间:2018-09-17 09:32:54 来源:本站原创 作者:野狼SEO团队 阅读:19993

有时候搜索网站的时候会出现提示:

由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 - 了解详情

这种情况就是属于robots.txt封禁,禁止蜘蛛进行抓取,比如淘宝网站是这样的:

你可以访问https://www.taobao.com/robots.txt 会发现他是这样写的:

上边写的是针对几个大的搜索引擎,下边写的是针对所有搜索引擎。这个写法是比较绝情的,而且看出来写这的人似乎是怕有些搜索引擎识别不了一些代码,所以分开写,然后再写个总的,总之就是让这个封禁兼容性更好,让搜索引擎都能识别到,可谓是煞费苦心。

如果你的网站也提示这,就要在网站根目录找到这个文件,然后分析一下是不是禁止蜘蛛抓取,想办法去掉就可以了,你可以这样写:

User-Agent:  *
Allow:  /

这样搜索引擎就会抓取。不过当你修改之后,可能还需要搜索引擎适应一段时间,这个时间长短主要取决于搜索引擎过来抓取的频度,如果是天天来,可能需要一周时间能让快照变正常。


野狼SEO团队微信公众号
访客头像访 客35.17***
新评论
  • pp的评论:
    请问要怎么修改
    管理员回复:把 Disallow: / 改为 Allow: / 因为有的文件写的不标准,不放心的话可以加我微信13526646200 或联系在线客服 免费帮您看看
    2020-06-11 09:02:58
  • 1231的评论:
    去掉之后几天能显示正常?
    管理员回复:根据网站的表现情况,如果外链比较多的正常网站,一般一周内即可显示正常。如果网站不行或者凑巧碰到搜索引擎不更新,可能会超过一个月
    2019-07-10 14:07:10
  • 123321的评论:
    那为什么有些电脑能进淘宝网 而有的不能 按道理这样写了不就全部不能进的啊我的是一直进去看不到图片 肯定是被限制了 但是换一台电脑又可以进了
    管理员回复:这个是针对搜索引擎的协议,并不影响浏览器或者电脑是否可以访问某一个网站。您的问题可能是电脑系统有问题导致
    2019-01-12 02:27:22