ドイツから来た bot

 いくつかの bot は既に拒否設定しています。

 今度は、「advanced backlink tracking bot」と言いながら、サイト全体をスクレイピングしてくれやがりました。この動きはブロックすべきですが、bot なので、とりあえず、robots.txt でクロールしないように通知します。メモとしてホスト情報を書いておきます。

ホスト:static.168.23.130.94.clients.your-server.de
IP: 94.130.23.168
User-Agent: serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)

 robbots.txt を無視するようならブロックします。

web サイト

Posted by sirius