ドイツから来た bot

2021年7月15日

　いくつかの bot は既に拒否設定しています。

やっぱり bot を排除する

　今度は、「advanced backlink tracking bot」と言いながら、サイト全体をスクレイピングしてくれやがりました。この動きはブロックすべきですが、bot なので、とりあえず、robots.txt でクロールしないように通知します。メモとしてホスト情報を書いておきます。

ホスト：static.168.23.130.94.clients.your-server.de
IP: 94.130.23.168
User-Agent: serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)

　robbots.txt を無視するようならブロックします。