クローラーcrawl.yahoo.netを拒否してよいものか?

 レンタルサーバーのアクセスログを見ると、「b3091064.crawl.yahoo.net」というホストからのレポートが数千件。1日で、だ。
 ご存知のとおり、現在、Yahoo! JAPANの検索結果はGoogleのものが使わている(いつからだっけ?)。
 であれば、Yahoo!のクローラーが来ても意味はないのではないか?
 運営しているサイトは100%日本人向けだ。Googleのクローラーがクロールする分には歓迎だが、海外の人向けの検索サービスのクローラーはサーバーへの負荷を高めるだけでいいことはない。
 と、思ってるんだけど、実際はどうなんだろう。別の目的のクローラーだったりしたら? 
 っていうか、その前にUser-Agentみろ。というわけで見てみると、
 http://help.yahoo.com/help/us/ysearch/slurp
 になんか書いてあるらしい。読む。robots.txtに従ってくれるらしい。ここのクローラーを弾く例が書かれていると思いきや、一般的な例があるだけで、そのものを弾く設定は書いてない。ケチ。
 検索してみるとこんなのが。
 Slurp拒否はYahoo! Japanの検索結果に影響なし|MAKIZOU.COMはてなブックマーク - Slurp拒否はYahoo! Japanの検索結果に影響なし|MAKIZOU.COM
 拒否で大丈夫みたい。ということで、robots.txtに以下を書いた。

User-agent: Slurp
Disallow: /

 さて、どうなりますかね。様子見。(上記、改行されてなかったので修正しました)


 あっ、でもよく読むと、アメリカのYahoo!から検索する日本人もいるかもか。いや、いても少ないだろうし、ウチのサイトはそういう人に役立つものじゃないからいいか。という結論。とりあえず、メモ。

コメント

  1. スーパー炭酸タイム より:

    crawl.yahoo.netを拒否した後に
    自然検索経由の流入って減りましたでしょうか?

  2. ここの人 より:

    >自然検索経由の流入って減りましたでしょうか?

    今のところ目立った違いは出てません。

    というか、3月20日ごろ以降、極端にアクセスが減ったという前提がありまして。今回の設定変更による違いが出るようなアクセスが施行前と後ともにない、ということもあります。役に立たない話であれですが。