MetamojiCrawler/1.0 襲来

　襲来とはおおげさなり。MetamojiCrawler/1.0というエージェントがクロールしている。1日で数千件単位。多すぎじゃないか？
　ウチのサイトを見まわっても何もないですよ。というか、負荷増やさないでくださいね。
　ということで、robots.txtで対処。Metamojiのサイトはちゃんとしてるところらしく、エージェントの名前にあったURLを見ると、robots.txtの書き方まで解説してあるのだった。こういうところが、信頼感をアップするのだろうな。というよりもクロールありきで構築されるようなコンテンツはどうなのかと思ったりもする。ほんとは何やってるかわかんないけど。