便宜做网站，不用客户动手特价999元，源码整套仅需50元起
50元起
查看详情 →
做网站/做SEO/解决各类网站问题，直接与技术谈！
浅谈robots.txt文件的一些用法
发布时间：2012-12-19 来源：本站原创 作者：野狼SEO团队 阅读：532次
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。也就是说蜘蛛文件是百度根据站长的意愿对网站进行抓取。robots.txt应该放置在网站的根目录下面，假如说文件里面禁止百度蜘蛛爬去那么网站不会被收录，但是有的人会问我的蜘蛛文件里面明明已经写了禁止访问的代码为什么网站还会被在网页上显示呢，网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。假如说您不想让百度在搜索结果中显示网页快照，请将此元标记置入网页的<HEAD>部分：<meta name="robots" content="noarchive">此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。 。
本文作者：野狼SEO团队
十六年网站建设相关经验
一站式为您提供网站相关服务
欢迎扫码咨询
上一篇：怎样让新站取得好的排名
下一篇：301重定向和url转发的区别
还没有人评论，快来抢个沙发！
