Y!J-BSC/1.0 crawlerの挙動(ページ内のRSSを必ず読みに来る)
[参考記事] Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
[参考記事] RSS 2.0の作り方
[参考記事] サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
Y!J-BSC/1.0 crawlerは次のIP帯域を使用してアクセスしてくる。
183.79.92.0/25 183.79.92.9〜183.79.92.72
183.79.0.0 - 183.79.255.255の帯域はYahoo Japan
ページにアクセスしたときにRSSリンクがあると都度RSSファイルを取得する。
<link rel="alternate" type="application/rss+xml" title="新着情報" href="/rss/news.xml" />
具体的には次のようなログになる。
183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /hogehoge1 HTTP/1.1" 200 3518 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /hogehoge2 HTTP/1.1" 200 3374 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
ユーザーエージェントは
Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)
なので、ブログ検索用のボットと思われる。
ただユーザーエージェントにあるhttp://help.yahoo.co.jp/help/jp/blog-search/にアクセスしてもサービス終了のアナウンスページになる。
ブログ検索は2013年11月5日をもって終了いたしました。
長年のご愛用、誠にありがとうございました。
米Yahoo!はBing(MSN)、Yahoo!JAPANはGoogleの検索エンジンを利用しています。
米Yahoo!のクローラーのユーザーエージェントは
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
クローラーのIPは
74.6.254.49〜74.6.254.159
関連記事
- サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
- サイトの安全性を確認するサービス McAfee SiteAdvisor
- Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
- いろんな検索エンジンのウェブマスターツールの一覧
- Android Maps API Keyを取得する方法 Google Mapsを利用する
- Google mapsから緯度経度を調べる方法
- amazonで欲しいものを検索する
- Gmailが〜@googlemail.comでも使える(Gmailの訴訟問題)
- その他
- メッセンジャーで日本語が入力できない
- 記号の名称（呼び名）
- 東芝のPCでリカバリディスク作成ツールを使用する方法(TOSHIBA Recovery Disc Creator)
- Windows8でOutlook ExpressやWindowsメール、WindowsLiveメールのデータを移行する方法
- btdna.exe とは BitTorrent(BitComet)の正しいアンインストール方法
- メールやFTP、ベーシック認証のパスワードを忘れたときの対処法
- Shift_JISの別名、EUC-JPの別名
- ata1.00: SRST failed(errno=-16) と出る場合
- Word97でピンボール イースターエッグ
- FlashMXでゲーム６種類 イースターエッグ
- Windows Liveメールでメールの振り分けをする メッセージのルール
- PNG画像の特徴
- Googleなどの特定のサイト表示が遅い場合の対処法(Windows7など)
- 64bit版Windowsで32bit用のProgram Filesフォルダのパスを取得する方法
- 1e100.netとは
- アクセスするだけでルーターがクラッシュするサイト
- 4Kモニタで画面がたまに点いたり消えたりしてちらつくときの対処法
- Outlook Expressのバックアップと復元
- Thunderbirdのデータをエクスポート、インポートする手順
- Google ChromeでHTTPリクエストヘッダーのAccept-Languageを変更する方法
- RSS 2.0の作り方
- Firefoxの検索バーにあるGoogleのアイコンを新しくする方法
スポンサーリンク
