クローラーを弾く

　robots.txtにて。アクセスログをチェック、ブラウザレポートからユーザーエージェント名をチェック。ブラウザ名のレポートにあるURLにアクセスしていろいろチェックしたり、ブラウザ名で検索かけたりして。
　とりあえず、多いのは以下のもの。もちろん、GoogleとかBingとかは残す。

User-agent: MJ12bot
Disallow: /
User-agent: XoviBot
Disallow: /
User-Agent: Yandex
Disallow: /
User-Agent: 360Spider
Disallow: /

　これで様子見。
　こんなんで無駄なCPU負荷がかかってしまってはたまったもんではないんである。というメモでした。