クローラーcrawl.yahoo.netを拒否してよいものか？

　レンタルサーバーのアクセスログを見ると、「b3091064.crawl.yahoo.net」というホストからのレポートが数千件。1日で、だ。
　ご存知のとおり、現在、Yahoo! JAPANの検索結果はGoogleのものが使わている（いつからだっけ？）。
　であれば、Yahoo!のクローラーが来ても意味はないのではないか？
　運営しているサイトは100％日本人向けだ。Googleのクローラーがクロールする分には歓迎だが、海外の人向けの検索サービスのクローラーはサーバーへの負荷を高めるだけでいいことはない。
　と、思ってるんだけど、実際はどうなんだろう。別の目的のクローラーだったりしたら？　
　っていうか、その前にUser-Agentみろ。というわけで見てみると、
　http://help.yahoo.com/help/us/ysearch/slurp
　になんか書いてあるらしい。読む。robots.txtに従ってくれるらしい。ここのクローラーを弾く例が書かれていると思いきや、一般的な例があるだけで、そのものを弾く設定は書いてない。ケチ。
　検索してみるとこんなのが。
　Slurp拒否はYahoo! Japanの検索結果に影響なし｜MAKIZOU.COM
　拒否で大丈夫みたい。ということで、robots.txtに以下を書いた。

User-agent: Slurp
Disallow: /

　さて、どうなりますかね。様子見。（上記、改行されてなかったので修正しました）

　あっ、でもよく読むと、アメリカのYahoo!から検索する日本人もいるかもか。いや、いても少ないだろうし、ウチのサイトはそういう人に役立つものじゃないからいいか。という結論。とりあえず、メモ。