SemrushBot爬虫用robots.txt文件封禁，效果显著

国外有几个爬虫，是真的很烦人，毕竟他没有多少用户，还抓取抓取中文网页，对于网站来讲意义不大。于是昨天因为客户服务器上卡顿，所以索性帮他进行了屏蔽。

今天看日志，semrush爬虫果然是老实了，如下图所示：

网站的访问量，下降很多，爆赞！

主要封禁的是：MJ12bot、SemrushBot、AhrefsBot。robots.txt文件如下，大家可以做个参考：

User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
user-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /