自動巡回ブログ

ボットの種類と自動巡回に対する運営側

ボットの種類と自動巡回に対する運営側

自動巡回でアクセスアップの自動巡回システムに限らず世の中のWebページには様々な自動巡回システムが日々活躍している。

個人が運営しているような弱小サーバの場合、これらのボットがサーバにアクセスを大量に繰り返すとサーバ負荷などの問題が発生するが、Yahoo!ブログほどのページ数を誇るWebサービスであるならば、これらのボットが一日に数十万ページを自動巡回しようが、びくともしない堅牢なサーバやシステムが必要である。

さて、今回はこのボットについて書きたいと思う。

ボットの種類

以下にボットの種類として３つに分類した。

１．検索エンジンなどのクローラー
２．検索エンジン以外のデータ収集およびスパムクローラー
３．自動巡回でアクセスアップの自動巡回システム
４．その他

１．検索エンジンなどのクローラー

検索エンジンなどのクローラーであるが、GoogleやYahooといった検索エンジンのクローラーの事である。
検索エンジンが、その検索結果を返す為には検索結果として表示されるWebページの情報をすべて収集しデータべース化する必要がある。このためWebページの情報を収集するために自動巡回システムが必要となるわけであるが、これがクローラーである。

クローラーは、情報収集のために様々なページを自動で巡回し、情報をデータベース化していく、一度訪れたWebページは、巡回後に更新や削除などが行なわれる可能性があるために、一度巡回したWebページであっても定期的に巡回を行なうことになる。

この同一ページへの巡回間隔であるが、これはページが更新される頻度によって変わってくる。一般のwebページであるならばその更新頻度は比較的遅いため、1ヶ月に一度の訪問となる場合もあるかもしれないが、ブログの場合、それが日記のように使われていれば毎日更新される事もあるわけであるから、クローラーの巡回間隔も短くなり、毎日巡回しに来ると言うケースもあるわけだ。

現在、検索エンジンのGoogleにインデックスされているYahoo!ブログに属すWebページは約500万ページ、Yahoo!Japanの検索エンジンでは約1500万ページである。クローラーはこれらのWebページを毎日のように巡回しているのだ。さらに、検索エンジンはGoogleやYahooだけではなく、大規模なものから小規模な検索エンジンまで多種多様に存在しているわけであるから検索エンジンのクローラーだけでも毎日膨大なアクセスが行なわれている。

２.検索エンジン以外のデータ収集およびスパムクローラー

データ収集およびスパムクローラーとは何の事かというと、メールアドレスやユーザーIDといったデータを収集するボットや、コメント、トラックバックを自動的に行なうスパムツールのことである。

まず、メールアドレスやユーザーIDといったデータ収集を行なうボットであるが、これはメッセンジャースパムやスパムメールを送りつけるための情報を収集するボットのことである。例えば、ブログ内にメールアドレスを記載したとすると、それをボットが解析してメールアドレスを記録して行く。ボットは、スパムメールを送りつけるデータベースを自動巡回を行なう中で生成していくのである。また、ユーザーIDを収集するタイプのボットでは、ユーザーIDが分かるとYahoo!メッセンジャーなどのメッセンジャーにメッセージを送りつけることが可能であったりすることから、収集したIDを利用しメッセンジャーにスパムメールを送りつける為に利用されるのである。

以上に挙げたボットは有害な情報収集系ボットであるが、有益な情報収集系ボットも存在する。例えばブログサービスの統計的情報を収集し研究を行なっているような場合で、このような研究目的の情報収集ボットも多数存在している。

次に、スパムクローラーであるが、これはコメント欄やトラックバック欄に大量の宣伝メッセージなどを書き込むボットのことである。Yahoo!ブログユーザの方々も実際にこれらスパムの被害を受けた人や、被害にあっているブログ見かけたことぐらいはあるだろう。これらボットもブログを自動巡回しスパムコメントやトラックバックを行なって行くのである。

３．自動巡回でアクセスアップの自動巡回システム

自動巡回でアクセスアップの自動巡回システムはこのブログでメインに扱っている自動巡回システムのことである。簡単に説明すると、Yahoo!ブログにログインした状態でブログを巡回すると、訪問者履歴に足跡と自身のブログへのリンクが残る。これをみたブログユーザの１〜２割程度が、自身のブログへ訪問してくれるという習性を利用したアクセスアップの手法である。

この自動巡回であるが１、２で取り上げたような自動巡回システムが存在することを考えると、自動巡回というパイの中でアクセスアップを図る自動巡回システムが占めるその割合はとても小さいのではないかと感じる。

これは、本格的なアクセスアップ目的の自動巡回を行なうとブログランキングに載ってしまうという点を考えると、ランキングに載ってしまった自動巡回ブログの数からして本格的な自動巡回を行なうユーザは数えられる程度ではないかという点から感じることである。

４．その他

自動巡回システムとは言えないが、連続的に自動でアクセスを繰り返すものとしてRSSリーダーというものを最後に書いておく。

ブログの更新情報をまとめたデータをRSSという形式で多くのブログでは公開している。このYahoo!ブログでも同様にそれは公開されており、一般人はこれをRSSリーダーといったツールを利用し活用するわけである。

RSSリーダーの中には、自動的にRSSデータにアクセスを繰り返すものと、RSSリーダー起動時やRSSリーダー利用者がRSSを読み込ませる操作をしたときにRSSを取得する2つのタイプがある。

ここで「連続的に自動でアクセスを繰り返すもの」というのは、前者の「自動的にRSSデータにアクセスを繰り返すもの」を示している。このようなRSSリーダーで読み込みする間隔が短いものでは1分間隔といったものまである。ちなみに、IE7というブラウザに付いているRSSリーダーでは15分間隔でアクセスが繰り返される。

多くのユーザがRSSリーダーを扱い、それがRSSに定期的アクセスを繰り返せばそのアクセス数は大量となり、特にYahoo!ブログなどではその量は膨大となるはずだ。

自動巡回はサーバ負荷になるからやめてくれとか。

今までの記述を見てみれば、一般人がブラウザで通常にブログにアクセスする以外にも様々な方法でサービスにアクセスが行なわれ、アクセスアップ目的の自動巡回によるアクセスは、ほんの一握りでしかないことが分かる。

しかし、あるブログサービスではアクセスアップ目的の自動巡回はサーバ負荷になるからやめてくれという内容のコメントがサービス運営側から公開されているのだ。

しかしこのような行為は、サービス運営側の技術力の無さ、運営リソースの無さから発生するサービスのレスポンス低下に掛かる原因の矛先を運営側の問題から、一部の悪質ユーザーという向き変えるサービス利用者を騙すような行為でしかない。

このようなコメントがサービス運営側から公開されるようになったら、そのサービスの改善やクオリティの向上は期待できない限界に達したと言うできであろう。

自動巡回プログラム(1)

JAVAで自動巡回プログラムを作る(1)

以下のソースコードは、自動巡回プログラムの大本となるソースコードである。
このプログラムが何を行うかというと、Yブログの更新情報RSSを取得し、その中から更新ブログのURLのみを取り出すというプログラムである。

これを一般的な名称で呼ぶならば、「RSSリーダー」となる。

import java.net.URL ;
import java.util.*;
import java.io.IOException ;
import de.nava.informa.core.* ;
import de.nava.informa.impl.basic.* ;
import de.nava.informa.parsers.* ;

class AR{
	public static void main(String[] args){
		try{			
		   URL url = new URL("http://blogs.yahoo.co.jp/rss.xml") ;
		   ChannelIF channel = FeedParser.parse(new ChannelBuilder(), url);
		   Collection list = channel.getItems() ;
		   ItemIF[] items = (ItemIF[]) list.toArray(new ItemIF[0] ) ;
		   for(int i = 0; i < items.length ; i++) {
		      URL itemURL  = items[i].getLink() ;
		      System.out.println("URL："+itemURL) ;
		   }
		}catch(IOException e){
			System.out.println("RSSの読み込みに失敗しました") ;
		}catch(ParseException e){
			System.out.println("RSSの解析に失敗しました") ;
		}
	}
}

実行すると・・・

このRSSリーダーをコマンドライン上で実行すると以下の通り。
URLのみが表示される。

このRSSリーダーより得られる更新ブログURLをうまく加工し利用することで、自動巡回が可能となるのである。

必要なもの

RSSを扱うためにinformaを利用している。
このため、このRSSリーダーを動かすにはinformaが必要である。
また、このプログラムはJAVAで作られているので実行するにはJAVAの実行環境が必要である。

続く・・・(予定)

自動巡回をするうえでの問題

本格的に自動巡回を行なうと、とある問題が発生する。

アンチ自動巡回ブログユーザの存在である。
まず、本格的に自動巡回を行なうとYahoo!ブログのランキングに入ってしまう。それも上位にランクインしてしまうのである。
これで、ランキング入りしてしまうような不正を行なっていることがばれてしまう。ブログ自体の訪問者がどれくらいなのかと言う情報は、統計情報を表示しない設定にすればバレないことなのだが、ランクインしてしまうことは、ブログ運営者側としては防ぐことができない。

ランキングに入ってしまっても、ブログの記事の量や質、そしてゲストブックや記事へのコメントを内容が不自然でない物であれば、自動巡回ブログだと疑われる可能性は薄れるわけだが、なぜだかYahoo!ブログのユーザはコメント欄やゲストブックに「履歴からきました〜」と言う旨の記述を行なう。

ゲストブックが公開されている場合には、この類のコメントは全てゲストブックに書かれるわけだが、ゲストブックを閉鎖してしまうとこれが面白い事に、記事に対してこの類のコメントを書き込んで立ち去っていくのである。しかも、それらのコメントが記事の内容と関連性が無くとも、コメントを書き込むのだから困った人達である。

これらのユーザ行動は、自動巡回ブログに対する攻撃なのか、それとも自分のブログに訪問してくれた人に対しては「履歴からきました。見てくれてありがとね」的なコメントを残すのがマナーか何かだと思っているのだろうか・・・？もしかして、これは自動巡回ブログに便乗して、自分のブログを宣伝しているだけなのかもしれない。

そんなわけで自動巡回をしていると「履歴からきました〜」的な書き込みと、ブログ自体の質から自動巡回ブログの疑いをかけられる。

さて、自動巡回ブログの疑いをかけられるようになると登場するのが、「アンチ自動巡回ブログユーザ」である。こいつらは、ゲストブックやコメント欄に「自動巡回お疲れ様」と書いたり、意味不明な書き込みで荒しを行ない、自動巡回ブログの撲滅を図るわけだ。

２ちゃんねるのこの辺↓
http://pc10.2ch.net/test/read.cgi/blog/1151504299/
で晒されるくらいなら別に問題ないのだが、コメント欄から攻撃を受けるようになるとこれは困る。

コメントの対策

この対策として、ゲストブックを非公開にし、コメントも書き込めないようにするという対策を行なわなくてはいけなくなる。これで、何も知らない訪問者から「自動巡回」という存在を一応消す事ができるのである。

コメント欄対策の対策「トラックバック攻撃」

各記事のトラックバック欄にトラックバックを行う事で、コメントを強制的に書き込む事が可能なのである。トラックバックからアホなコメントを大量に書き込まれたら、コメント欄を閉鎖しても意味がないわけだな。この攻撃に対してはトラックバックを禁止すれば良い訳だが、残念な事にYahoo!ブログでは記事に対するトラックバックを禁止することができないのである。

Yahoo!ブログ＋自動巡回でアフィリエイト

Yahoo!ブログで自動巡回してアフィリエイトで儲けようという話である。

Yahoo!ブログで自動巡回を行えば、一日あたり数千人の訪問者がやってくる。
この数千人の訪問者を使って、小遣い稼ぎを使用というわけである。

多くのヤフーブログユーザーが知っているかどうかは知らないが、ヤフーブログではYahoo!Japanが運営するアフィリエイトプログラム以外のアフィリエイト広告を表示させる事ができない。

そのため、ヤフーブログでアフィリエイトを行うのであれば、Yahoo!Japanのアフィリエイトプログラムを利用する事になる。Yahoo! JAPANのアフィリエイトの広告以外のアフィリエイト広告を掲載する行為はYahoo!ブログでは規約違反となり、この違反に関しては厳しく対応され、利用制限またはブログ自体が削除される可能性がある。

というわけで、実験してみたが、結果は

訪問者1万人あたりで、100円程度の広告収入が得られる。

自動巡回の手法2-自動操作ツールを使う‐

自動巡回の手法2-自動操作ツールを使う‐

自動巡回の手法の一つとして、自動操作ツールを使うを使う手法がある。しかし、自動巡回によるアクセスアップとしては最適な方法ではない。また、自動操作時には、PCを利用して別の作業を行えないという制限がある。

自動操作ツールと言うのは、キーボードのマウスで入力した動作を記録し、それを再生と言う形でパソコンを自動操作するためのツールである。

たとえば、Yahoo!ブログの新着ブログのページ。

新着ブログのページを見に行くと、アクセスするたびに新着ブログのページへのリンクが20件ほどあるわだが、このリンクを開き新着ブログを閲覧という動作を、自動操作ツールを使って行うのだ。

マウスを使って、リンクをクリック。そしてブログを開く。ブログを開いたら、再び新着ブログのページへ。という動作を自動化させたとする。
しかしこの場合、実際にやってみるとわかるのだが、新着ブログの各ブログへのリンクが表示されている位置と言うのが、新着ブログのページの上に表示されているバナーや、ニックネームがテキストか、画像か、によって毎回変動してしまう。

具体的な手法

さて、ココで便利なのがRSSである。
ついでに、タブブラウザのFirefoxも利用する。

1.まず始めに、新着ブログのページのRSSをFirefoxのRSSリーダーに登録しておく。

2.新着ブログをすべてタブで開く。（新着ブログのページをRSSで登録しておくと、ブラウザの方で、RSSから読み取った新着ブログをすべて同時にタブで開くことかできる）
http://www.geocities.jp/automatic_round/tabu.PNG

3.その後、ライブブックマークを再読み込みさせる。
http://www.geocities.jp/automatic_round/fgdd.PNG
これを自動操作ツールを使い繰り返し行うのである。

問題

上記の手法に一つ問題があった、新着ブログのページのRSSをいつもやっている方法でFirefoxのRSSリーダーに登録できないのだ。

と言うわけで、以下のようなHTMLファイルを作ってみた。

<html>
<head>
<link rel="alternate" type="application/rss+xml" title="新着ブログ" href="http://rd.yahoo.co.jp/rss/b/blog/update/rss2/01/*http://blogs.yahoo.co.jp/rss.xml">
</head>
</html>

これをFirefoxで開き、以下の画像の赤丸の中にあるマークをクリックすることで、RSSリーダーに登録する事ができる。
http://www.geocities.jp/automatic_round/bvc.PNG