やっぱり bot を排除する

2021年7月12日

　やはり、Web サーバへ来る bot は排除したいと思います。当サイトへ来る bot で排除したいのは以下の bot です。

• PetalBot
  ファーウェイの bot
• BLEXBot
  SEO 企業の bot
• SemrushBot
  SEO 企業の bot
• MJ12bot
  SEO 企業の bot
• AhrefsBot
  SEO 企業の bot

　基本的に SEO 企業の bot は来たら排除します。と言っても、robots.txt でクロールしないように通知するだけにします。これに従ってもらえれば、それ以上対処しなくて済みます。

　サイトトップの robots.txt に次を追加しました。

# disable bots
User-Agent: PetalBot
User-Agent: BLEXBot
User-Agent: SemrushBot
User-Agent: MJ12bot
User-Agent: AhrefsBot
Disallow: /

　ちゃんとルールに従うか様子を見ます。