1.3 robots.txt【摘自野狼网站内部优化手册】

　　robots.txt概述
　　
　　网站的标准配置是要在根目录下有一个robots.txt的文件,用来说明让不让蜘蛛抓取,或者是给搜索引擎一个指引，告诉他哪些网页可以抓取，哪些不可以，告诉他们网站地图在什么地方等等。robots.txt是一个协议，这个协议不具有强制性，有些搜索引擎也会不遵守（一般都会遵守的）。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
　　
　　robots.txt设置方法
　　
　　直接看范例吧：http://www.390seo.com/robots.txt我们的网站robots.txt文件
　　
　　User-agent:*
　　
　　Allow:/
　　
　　第一行的意思是，这个协议适用的范围是对准所有搜索引擎有效，你也可以用Baiduspider（百度网页搜索引擎）、Googlebot（谷歌网页搜索引擎）
　　
　　第二行的意思是，允许抓取全部的页面，如果你AllOW后边加个/bin/就是允许ALLOW目录被抓取，当然不想让抓取的可以写成Disallow:/bin/。每一条规则占一行。可以用多条规则。
　　
　　如果你不想太深究这个问题，可以用站长之家提供的工具生成一个robots.txt吧！网址是http://tool.chinaz.com/robots/