2021年7月5日

　Web サイトに対する bot に行儀がいい boto と行儀の悪い bot がいるかどうかわかりませんが、

クロールの頻度がそれほど高くない。（web サーバに負荷をかけない）
ユーザーエージェントに bot への説明 ...