ロシアからの bot

 今度は、ロシアの検索エンジンがクロールに来ました。

 ロシアは嫌いではないです。作曲家のムソログスキーとか、リムスキー=コルサコフとか好きです。しかし、今のロシアは排除します。

 今回、クロールしていったのは、YandexBot でした。robots.txt に追加します。

User-Agent: YandexBot
Disallow: /

 しばらく様子を見ましょう。

2021.07.30 追記
 Yandexbot だけでは不十分でした。

web サイト

Posted by sirius