野狼SEO团队,纯白帽SEO倡导者!15年专注网站优化服务,支持月付!  [点击查看公司宣传册]
专注纯白帽、整站正规优化
让你排名上升,流量暴涨!
网站优化服务电话
0371-56789-390
详细内容
当前位置:首页 > SEO知识 > 详情

AhrefsBot是什么?能不能禁止访问你的网站?怎么封禁,答案全在这里

发布时间:2021-11-12 来源:本站原创 作者:野狼SEO团队 阅读:725

AhrefsBot是什么?

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,没有用。

所以,可以禁止AhrefsBot对你网站,甚至是整个服务器的访问

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot  该网站是一个国外的但是有中文版,打开中文版显示如上图。其介绍为“增加您的搜索流量的工具,研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高,以及你需要采取什么行动来超越他们。”所以应该明白他是做什么的了吧。

怎么封禁AhrefsBot?

如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。屏蔽代码为:

User-agent: AhrefsBot

Disallow: /

官方公布的AhrefsBot爬虫IP段如下: 

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

 

195.154.122.0/24

195.154.123.0/24


195.154.126.0/24

195.154.127.0/24

方法一:阿里云安全组策略直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服务器用的阿里云,阿里云后台有安全组可以使用,所以直接屏蔽AhrefsBot的IP段,是最简单粗暴,效果立竿见影的方法。按照上图的方法配置,把下面这些ip段全部添加进去就行了。

方法二:服务器安全狗等在服务器上进行封禁

在安全狗上找“网络防火墙>超级黑名单”,添加IP组进去,保存即可。如下图所示:


方法二:使用robots.txt封禁

通常来说,只要是遵循robots规则的蜘蛛或者爬虫,都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则,不过实际上是如果你不是一开始就添加了这个规则,你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

对于单个网站来讲,直接封IP比较快。如果要添加,规则如下:

User-agent: AhrefsBot

Disallow: /


访客头像访 客3.223***
新评论

还没有人评论,快来抢个沙发!