野狼SEO团队,纯白帽SEO倡导者!15年专注网站优化服务,支持月付!  [点击查看公司宣传册]
专注纯白帽、整站正规优化
让你排名上升,流量暴涨!
网站优化服务电话
0371-56789-390
详细内容
当前位置:首页 > SEO知识 > 详情

1.3 robots.txt【摘自野狼网站内部优化手册】

发布时间:2013-08-17 来源:本站原创 作者:野狼SEO团队 阅读:736

  robots.txt概述
  
  网站的标准配置是要在根目录下有一个robots.txt的文件,用来说明让不让蜘蛛抓取,或者是给搜索引擎一个指引,告诉他哪些网页可以抓取,哪些不可以,告诉他们网站地图在什么地方等等。robots.txt是一个协议,这个协议不具有强制性,有些搜索引擎也会不遵守(一般都会遵守的)。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
  
  robots.txt设置方法
  
  直接看范例吧:http://www.390seo.com/robots.txt我们的网站robots.txt文件
  
  User-agent:*
  
  Allow:/
  
  第一行的意思是,这个协议适用的范围是对准所有搜索引擎有效,你也可以用Baiduspider(百度网页搜索引擎)、Googlebot(谷歌网页搜索引擎)
  
  第二行的意思是,允许抓取全部的页面,如果你AllOW后边加个/bin/就是允许ALLOW目录被抓取,当然不想让抓取的可以写成Disallow:/bin/。每一条规则占一行。可以用多条规则。
  
  如果你不想太深究这个问题,可以用站长之家提供的工具生成一个robots.txt吧!网址是http://tool.chinaz.com/robots/

访客头像访 客3.239***
新评论

还没有人评论,快来抢个沙发!