Y!J-BSC/1.0 crawlerの挙動(ページ内のRSSを必ず読みに来る)

[参考記事] Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
[参考記事] RSS 2.0の作り方
[参考記事] サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック

Y!J-BSC/1.0 crawlerは次のIP帯域を使用してアクセスしてくる。

183.79.92.0/25
183.79.92.9〜183.79.92.72

183.79.0.0 - 183.79.255.255の帯域はYahoo Japan

ページにアクセスしたときにRSSリンクがあると都度RSSファイルを取得する。

<link rel="alternate" type="application/rss+xml" title="新着情報" href="/rss/news.xml" />

具体的には次のようなログになる。

183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /hogehoge1 HTTP/1.1" 200 3518 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /hogehoge2 HTTP/1.1" 200 3374 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"

ユーザーエージェントは

Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)

なので、ブログ検索用のボットと思われる。

ただユーザーエージェントにあるhttp://help.yahoo.co.jp/help/jp/blog-search/にアクセスしてもサービス終了のアナウンスページになる。

ブログ検索は2013年11月5日をもって終了いたしました。
長年のご愛用、誠にありがとうございました。

米Yahoo!はBing(MSN)、Yahoo!JAPANはGoogleの検索エンジンを利用しています。
米Yahoo!のクローラーのユーザーエージェントは

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

クローラーのIPは
74.6.254.49〜74.6.254.159

スポンサーリンク

関連記事

スポンサーリンク

VMware Serverの使い方

ホームページ製作・web系アプリ系の製作案件募集中です。

上に戻る