無題なブログ

ナゾのMSNBotモバイルクローラー(？)がやってきた

MSNBOT_Mobile MSMOBOT Mozilla/2.0 (compatible; MSIE 4.02; Windows CE; Default)/1.1 (+http://search.msn.com/msnbot.htm)

　アクセス解析をチェックしたところ、MSNBOT_Mobileを名乗るボットがサイトにかなーりたくさん
アクセスしてきていた。ログをチェックしたところ、最初の足跡のIPアドレスが「202.96.51.147」。
WHOIS検索すると、

inetnum:      202.96.51.128 - 202.96.51.255
netname:      MICROSOFT-CO
descr:        Microsft (China) Co.Ltd
country:      CN
admin-c:      CH455-AP
tech-c:       SY21-AP
mnt-by:       MAINT-CNCGROUP-BJ
changed:      [e-mail] 20060926
status:       ALLOCATED NON-PORTABLE
source:       APNIC
changed:      [e-mail] 20060926

role:         CNCGroup Hostmaster
e-mail:       [e-mail]
address:      No.156,Fu-Xing-Men-Nei Street,
address:      Beijing,100031,P.R.China
nic-hdl:      CH455-AP
phone:        [phone]
fax-no:       [phone]
country:      CN
admin-c:      CH444-AP
tech-c:       CH444-AP
changed:      [e-mail] 20041119
mnt-by:       MAINT-CNCGROUP
source:       APNIC

person:       sun ying
address:      fu xing men nei da jie 97, Xicheng District
address:      Beijing 100800
country:      CN
phone:        [phone]
fax-no:       [phone]
e-mail:       [e-mail]
nic-hdl:      SY21-AP
mnt-by:       MAINT-CNCGROUP-BJ
changed:      [e-mail] 19980824
changed:      [e-mail] 20060717
source:       APNIC

　何で中国のマイクロソフトから・・・？と一瞬思ったけれど、よくよく見ると
『Microsft (China) Co.Ltd』となっとる・・・。（＾＾;
マイクロソフトとは思えないWHOIS結果なので、何の目的かUAを偽装したボットなんでしょうなぁ。

　現在、Microsoftは「Windows Live モバイル」ってな携帯向けサービスを用意してますが、
検索機能の「Liveサーチ」は通常のパソコン向けページの結果を表示、「MSNサーチ」の方は
登録制ということで、日本用のモバイル向けMSNBotクローラーというのは巡回してないはず？

ぜんぜん気づかなかった Ask.jp ＝ Yahoo!

　まったく利用してないので今までぜんぜん気づかなかったけど、検索エンジンAskのウェブ検索は・・・

検索エンジンAskは日米で違う!
Ask.com	独自エンジン
Ask.jp	Yahoo!エンジン

　日本のAsk.jpはYahoo!（Yahoo! JAPAN）のインデックスをそのまま利用してますな。ただ、ランキング表示は違ったり、まったく同じだったり・・・。（同じくYahoo!のインデックスを利用してる検索エンジンMooterタイプ？

　Ask.jpのサイトの登録/削除のページより。確か以前は書かれてあったAskのウェブ巡回クローラー「Teoma」に関する記述がなくなってる。

Ask.jpではオーバーチュア株式会社より提供を受けたロボット型検索エンジンをウェブ検索エンジンとして利用しております。

楽天・ファスト・モバイルサーチのクローラー RFCrawler ？

　昨日12日分の自サイトのアクセス解析を確認したところ、かなり多くの「Googlebot-Mobile」が
やって来ていたのに気づきました。Googleモバイル用に巡回してるクローラーですな。

DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

　ただ、何だか今までにないアクセス数なので、ログをチェックしてみたところ、このユーザー
エージェント（UA）を吐いてるのは、なぜか「cr001.rfcrawler.com」。Googleじゃない・・・。（＾＾;

　調べてみたところ、『楽天・ファスト・モバイルサーチ株式会社の検索エンジンにページ取得』
するためのRFCrawlerというクローラーみたいですが、なんで「Googlebot-Mobile」を名乗って
るんかいな？ 何かの間違い？？？

---

(19日追記...)
＞開発チームさん
コメントに気づくの遅れました。わざわざ訪問してくださってどうもです。

lhsp.s206.xrea.com/
12日の11:16:41からクローリングが行われてます。

百度（Baidu） 正式スタート

中国本土でシェア１位というBaiduが日本に正式上陸とのこと。

　去年の３月ベータ版として登場。今のところの検索タイプは、今回正式版に格上げとなった
ウェブ検索と画像検索、ベータ版の動画検索と今回は初登場となるブログ検索の全４種。

○ ウェブ検索の感想
・インデックス数そのものはそれなりに多め。（Live Searchと比べると多い？）
・多い分なのか、どーでもいいようなゴミページもインデックスされてる。
・URLアドレス内の文字も検索対象。（ページ内には１つも存在しないキーワード
　であるにもかかわらず、URLアドレスに含まれている文字だけでヒット・・・）
・ページ更新の反映が鈍い傾向。（数ヶ月単位の反映もざら？）
・精度は別に悪いという感じはないけれど、GoogleやYahoo!よりもすごいかと言われると･･･。
・METAタグ内のdescription属性とともに、keywords属性も検索対象。
・検索結果のスニペットにdmoz文章の引用あり。
・キャッシュを拒否したければ、METAタグ内のrobots属性（noarchive属性値）で可能。

○ 百度的空間
　中国Baiduのオフィシャルブログ。百度日本の日本人スタッフが挨拶コメントを投稿
してます。そして、日本でスタートした事に関しての記事。実は、前日には
ここにbaidu.jpへのリンクが載ってたんですが、「アクセスできん」というコメントで
気づいたのか消されてます。（＾＾;
（参照、中国当局、「百度日本」への中国からのアクセスを遮断か）

○ 自分のホームページをBaiduに登録するには？
　こちらから。ついでにブログはこちら。
それぞれページのURLアドレスと画像認証の文字を入力します。
かつては、BaiduspiderによるDOSアタック並のクローリングで騒動になりましたが最近は
大人しいのかな。

○ 検索エンジンシェア
　世界の検索エンジンシェアは圧倒的にGoogleですが、東アジア地域に絞るとシェア１位は
下のような感じ。Gooleがどうしてもトップになれない地域なんですなぁ。
　日本 → Yahoo! JAPAN
　中国 → 百度
　韓国 → NAVER
　台湾 → Yahoo!奇摩
　ロシア → Yandex

Baidu(百度)、日本向け検索エンジンスタートで。。。（＾＾;

　中国でシェアNo.1の検索エンジンサイトBaidu(百度)が日本向けの検索エンジン
サービスをスタートさせたそうで。サイト検索と画像検索が利用できるように
なっています。

http://www.baidu.jp/

　以前から日本では、ウェブ上の情報を収集するBaidu発のクローラー「Baiduspider」
のお行儀の悪さで何かと有名になってました。これに対するお詫びの文章が公式サイトに
掲載されています。

http://ja.wikipedia.org/wiki/%E7%99%BE%E5%BA%A6
http://www.baidu.jp/spider.html

　で、そんなことはおいといて、早速どんなものかと適当なキーワードで色々と検索して
みた後、サイト内にあるヘルプページ「サイト管理者向けヘルプセンター」を見てみた
ところ・・・。

http://www.baidu.jp/search/help.html

　ん？？？、どこかで読んだことのあるような文章だと思ったら、Yahoo! Japanの
「サイト管理者向けヘルプ」のまんま コピー ですがな・・・。（＾＾;

http://help.yahoo.co.jp/help/jp/search/indexing/