ボットの種類と自動巡回に対する運営側

自動巡回でアクセスアップの自動巡回システムに限らず世の中のWebページには様々な自動巡回システムが日々活躍している。

個人が運営しているような弱小サーバの場合、これらのボットがサーバにアクセスを大量に繰り返すとサーバ負荷などの問題が発生するが、Yahoo!ブログほどのページ数を誇るWebサービスであるならば、これらのボットが一日に数十万ページを自動巡回しようが、びくともしない堅牢なサーバやシステムが必要である。

さて、今回はこのボットについて書きたいと思う。

ボットの種類

以下にボットの種類として３つに分類した。

１．検索エンジンなどのクローラー
２．検索エンジン以外のデータ収集およびスパムクローラー
３．自動巡回でアクセスアップの自動巡回システム
４．その他

１．検索エンジンなどのクローラー

検索エンジンなどのクローラーであるが、GoogleやYahooといった検索エンジンのクローラーの事である。
検索エンジンが、その検索結果を返す為には検索結果として表示されるWebページの情報をすべて収集しデータべース化する必要がある。このためWebページの情報を収集するために自動巡回システムが必要となるわけであるが、これがクローラーである。

クローラーは、情報収集のために様々なページを自動で巡回し、情報をデータベース化していく、一度訪れたWebページは、巡回後に更新や削除などが行なわれる可能性があるために、一度巡回したWebページであっても定期的に巡回を行なうことになる。

この同一ページへの巡回間隔であるが、これはページが更新される頻度によって変わってくる。一般のwebページであるならばその更新頻度は比較的遅いため、1ヶ月に一度の訪問となる場合もあるかもしれないが、ブログの場合、それが日記のように使われていれば毎日更新される事もあるわけであるから、クローラーの巡回間隔も短くなり、毎日巡回しに来ると言うケースもあるわけだ。

現在、検索エンジンのGoogleにインデックスされているYahoo!ブログに属すWebページは約500万ページ、Yahoo!Japanの検索エンジンでは約1500万ページである。クローラーはこれらのWebページを毎日のように巡回しているのだ。さらに、検索エンジンはGoogleやYahooだけではなく、大規模なものから小規模な検索エンジンまで多種多様に存在しているわけであるから検索エンジンのクローラーだけでも毎日膨大なアクセスが行なわれている。

２.検索エンジン以外のデータ収集およびスパムクローラー

データ収集およびスパムクローラーとは何の事かというと、メールアドレスやユーザーIDといったデータを収集するボットや、コメント、トラックバックを自動的に行なうスパムツールのことである。

まず、メールアドレスやユーザーIDといったデータ収集を行なうボットであるが、これはメッセンジャースパムやスパムメールを送りつけるための情報を収集するボットのことである。例えば、ブログ内にメールアドレスを記載したとすると、それをボットが解析してメールアドレスを記録して行く。ボットは、スパムメールを送りつけるデータベースを自動巡回を行なう中で生成していくのである。また、ユーザーIDを収集するタイプのボットでは、ユーザーIDが分かるとYahoo!メッセンジャーなどのメッセンジャーにメッセージを送りつけることが可能であったりすることから、収集したIDを利用しメッセンジャーにスパムメールを送りつける為に利用されるのである。

以上に挙げたボットは有害な情報収集系ボットであるが、有益な情報収集系ボットも存在する。例えばブログサービスの統計的情報を収集し研究を行なっているような場合で、このような研究目的の情報収集ボットも多数存在している。

次に、スパムクローラーであるが、これはコメント欄やトラックバック欄に大量の宣伝メッセージなどを書き込むボットのことである。Yahoo!ブログユーザの方々も実際にこれらスパムの被害を受けた人や、被害にあっているブログ見かけたことぐらいはあるだろう。これらボットもブログを自動巡回しスパムコメントやトラックバックを行なって行くのである。

３．自動巡回でアクセスアップの自動巡回システム

自動巡回でアクセスアップの自動巡回システムはこのブログでメインに扱っている自動巡回システムのことである。簡単に説明すると、Yahoo!ブログにログインした状態でブログを巡回すると、訪問者履歴に足跡と自身のブログへのリンクが残る。これをみたブログユーザの１～２割程度が、自身のブログへ訪問してくれるという習性を利用したアクセスアップの手法である。

この自動巡回であるが１、２で取り上げたような自動巡回システムが存在することを考えると、自動巡回というパイの中でアクセスアップを図る自動巡回システムが占めるその割合はとても小さいのではないかと感じる。

これは、本格的なアクセスアップ目的の自動巡回を行なうとブログランキングに載ってしまうという点を考えると、ランキングに載ってしまった自動巡回ブログの数からして本格的な自動巡回を行なうユーザは数えられる程度ではないかという点から感じることである。

４．その他

自動巡回システムとは言えないが、連続的に自動でアクセスを繰り返すものとしてRSSリーダーというものを最後に書いておく。

ブログの更新情報をまとめたデータをRSSという形式で多くのブログでは公開している。このYahoo!ブログでも同様にそれは公開されており、一般人はこれをRSSリーダーといったツールを利用し活用するわけである。

RSSリーダーの中には、自動的にRSSデータにアクセスを繰り返すものと、RSSリーダー起動時やRSSリーダー利用者がRSSを読み込ませる操作をしたときにRSSを取得する2つのタイプがある。

ここで「連続的に自動でアクセスを繰り返すもの」というのは、前者の「自動的にRSSデータにアクセスを繰り返すもの」を示している。このようなRSSリーダーで読み込みする間隔が短いものでは1分間隔といったものまである。ちなみに、IE7というブラウザに付いているRSSリーダーでは15分間隔でアクセスが繰り返される。

多くのユーザがRSSリーダーを扱い、それがRSSに定期的アクセスを繰り返せばそのアクセス数は大量となり、特にYahoo!ブログなどではその量は膨大となるはずだ。