やっぱり bot を排除する

 やはり、Web サーバへ来る bot は排除したいと思います。当サイトへ来る bot で排除したいのは以下の bot です。

  • PetalBot
    ファーウェイの bot
  • BLEXBot
    SEO 企業の bot
  • SemrushBot
    SEO 企業の bot
  • MJ12bot
    SEO 企業の bot
  • AhrefsBot
    SEO 企業の bot

 基本的に SEO 企業の bot は来たら排除します。と言っても、robots.txt でクロールしないように通知するだけにします。これに従ってもらえれば、それ以上対処しなくて済みます。

 サイトトップの robots.txt に次を追加しました。

# disable bots
User-Agent: PetalBot
User-Agent: BLEXBot
User-Agent: SemrushBot
User-Agent: MJ12bot
User-Agent: AhrefsBot
Disallow: /

 ちゃんとルールに従うか様子を見ます。

web サイト

Posted by sirius