ICC-Crawler
新しい bot が来ました。国内 の bot のようです。
web アーカイブの構築と多言語翻訳や情報分析等の研究目的の収集とあります。要はビッグデータを収集し、利用の研究を行っているのでしょう。
行儀はいいようなので拒否設定をする必要は無いと思います。逆に当サイトが研究データの一部として利用されると考えるとちょっと誇らしいです。もっとも、その他大勢のデータの一部ですが。
他へのデータ提供はなさそうなので問題はないでしょう。web がもっと便利になればいいと思います。その仕組みが日本から発信できれば更にいいと思います。