自動巡回ブログ

まず、はじめに

Tue, 03 Jul 2007 21:08:28 +0900

自動巡回ブログについて

このブログでは、自動巡回によるWebページのアクセスアップについて書いていきます。

ブログの編集方針上、各記事中に自動巡回房を肯定するかのような記述があります。
しかし、これらの記述が一般的に通用するとは限りませんので注意してください。

最終的には、Yahoo!ブログでの自動巡回の手法などを書く予定。

自動巡回ブログのWebサイト(自動閲覧ツール有り)

自動巡回ツールというのは？

このツールは、キーボードやマウスなどの操作を一切しなくても自動的にさまざまなページを自動で巡回してくれるツールです。

自動巡回してくれるので、画面を見ているだけでいろいろなページがどんどんと表示されて行ってくれるという非常に便利なツールです。

たとえば、ブログのトップページのみを自動で巡回するように設定されたツールであれば、さまざまなブログを自動で巡回し、気になるページがあれば自動巡回を止めてそのページをじっくりと見ることもできるというわけです。

スクリーンセーバー的な機能。

最近は、大抵の人は液晶ディスプレイを使うようになったのでスクリーンセーバーは使う必要もなくなりましたが、自動巡回をスクリーンセーバー的な機能として使うことも可能です。

PCを10分以上使わない場合は、いろいろなWebサイトを巡回させて、一つのページあたり数秒から数十秒表示させ次のページへという動作である。

これもまた、たまたま表示されたページが新しい発見につながるということがありえるわけである。

自動巡回で懸念されること。

・料金
インターネットを定額で使っているのであれば、Webページを表示するのはどんだけ表示しても無料だし、Webページを表示しただけで、料金をとられるとか、なんかの自動で登録されちゃうなんてこともないので大丈夫。

・安全性
Webページの中には、悪質なブラクラとかがあるけどそういったページは表示させないこともできるのだ。

・ネットワークに負荷を掛けるのでは？
たとえば、ヤフーブログを自動巡回するとヤフーのサーバに負荷がかかり迷惑である！なんていう人がたまにいますが、Webページをただ見る程度ではサーバに負荷は全くといって言いくらい掛からない。
ヤフーブログが重たいのは、もっと別の所に原因がある。
某ブログサービスにおいては、自動巡回をサーバ負荷の原因として厳しく対応をするとのコメントをユーザに向け公表している所もあるようであるが、本当に自動巡回がサーバ負荷の原因なのか？については疑問に思う点がある。

ボットの種類と自動巡回に対する運営側

Tue, 03 Jul 2007 21:01:22 +0900

ボットの種類と自動巡回に対する運営側

自動巡回でアクセスアップの自動巡回システムに限らず世の中のWebページには様々な自動巡回システムが日々活躍している。

個人が運営しているような弱小サーバの場合、これらのボットがサーバにアクセスを大量に繰り返すとサーバ負荷などの問題が発生するが、Yahoo!ブログほどのページ数を誇るWebサービスであるならば、これらのボットが一日に数十万ページを自動巡回しようが、びくともしない堅牢なサーバやシステムが必要である。

さて、今回はこのボットについて書きたいと思う。

ボットの種類

以下にボットの種類として３つに分類した。

１．検索エンジンなどのクローラー
２．検索エンジン以外のデータ収集およびスパムクローラー
３．自動巡回でアクセスアップの自動巡回システム
４．その他

１．検索エンジンなどのクローラー

検索エンジンなどのクローラーであるが、GoogleやYahooといった検索エンジンのクローラーの事である。
検索エンジンが、その検索結果を返す為には検索結果として表示されるWebページの情報をすべて収集しデータべース化する必要がある。このためWebページの情報を収集するために自動巡回システムが必要となるわけであるが、これがクローラーである。

クローラーは、情報収集のために様々なページを自動で巡回し、情報をデータベース化していく、一度訪れたWebページは、巡回後に更新や削除などが行なわれる可能性があるために、一度巡回したWebページであっても定期的に巡回を行なうことになる。

この同一ページへの巡回間隔であるが、これはページが更新される頻度によって変わってくる。一般のwebページであるならばその更新頻度は比較的遅いため、1ヶ月に一度の訪問となる場合もあるかもしれないが、ブログの場合、それが日記のように使われていれば毎日更新される事もあるわけであるから、クローラーの巡回間隔も短くなり、毎日巡回しに来ると言うケースもあるわけだ。

現在、検索エンジンのGoogleにインデックスされているYahoo!ブログに属すWebページは約500万ページ、Yahoo!Japanの検索エンジンでは約1500万ページである。クローラーはこれらのWebページを毎日のように巡回しているのだ。さらに、検索エンジンはGoogleやYahooだけではなく、大規模なものから小規模な検索エンジンまで多種多様に存在しているわけであるから検索エンジンのクローラーだけでも毎日膨大なアクセスが行なわれている。

２.検索エンジン以外のデータ収集およびスパムクローラー

データ収集およびスパムクローラーとは何の事かというと、メールアドレスやユーザーIDといったデータを収集するボットや、コメント、トラックバックを自動的に行なうスパムツールのことである。

まず、メールアドレスやユーザーIDといったデータ収集を行なうボットであるが、これはメッセンジャースパムやスパムメールを送りつけるための情報を収集するボットのことである。例えば、ブログ内にメールアドレスを記載したとすると、それをボットが解析してメールアドレスを記録して行く。ボットは、スパムメールを送りつけるデータベースを自動巡回を行なう中で生成していくのである。また、ユーザーIDを収集するタイプのボットでは、ユーザーIDが分かるとYahoo!メッセンジャーなどのメッセンジャーにメッセージを送りつけることが可能であったりすることから、収集したIDを利用しメッセンジャーにスパムメールを送りつける為に利用されるのである。

以上に挙げたボットは有害な情報収集系ボットであるが、有益な情報収集系ボットも存在する。例えばブログサービスの統計的情報を収集し研究を行なっているような場合で、このような研究目的の情報収集ボットも多数存在している。

次に、スパムクローラーであるが、これはコメント欄やトラックバック欄に大量の宣伝メッセージなどを書き込むボットのことである。Yahoo!ブログユーザの方々も実際にこれらスパムの被害を受けた人や、被害にあっているブログ見かけたことぐらいはあるだろう。これらボットもブログを自動巡回しスパムコメントやトラックバックを行なって行くのである。

３．自動巡回でアクセスアップの自動巡回システム

自動巡回でアクセスアップの自動巡回システムはこのブログでメインに扱っている自動巡回システムのことである。簡単に説明すると、Yahoo!ブログにログインした状態でブログを巡回すると、訪問者履歴に足跡と自身のブログへのリンクが残る。これをみたブログユーザの１～２割程度が、自身のブログへ訪問してくれるという習性を利用したアクセスアップの手法である。

この自動巡回であるが１、２で取り上げたような自動巡回システムが存在することを考えると、自動巡回というパイの中でアクセスアップを図る自動巡回システムが占めるその割合はとても小さいのではないかと感じる。

これは、本格的なアクセスアップ目的の自動巡回を行なうとブログランキングに載ってしまうという点を考えると、ランキングに載ってしまった自動巡回ブログの数からして本格的な自動巡回を行なうユーザは数えられる程度ではないかという点から感じることである。

４．その他

自動巡回システムとは言えないが、連続的に自動でアクセスを繰り返すものとしてRSSリーダーというものを最後に書いておく。

ブログの更新情報をまとめたデータをRSSという形式で多くのブログでは公開している。このYahoo!ブログでも同様にそれは公開されており、一般人はこれをRSSリーダーといったツールを利用し活用するわけである。

RSSリーダーの中には、自動的にRSSデータにアクセスを繰り返すものと、RSSリーダー起動時やRSSリーダー利用者がRSSを読み込ませる操作をしたときにRSSを取得する2つのタイプがある。

ここで「連続的に自動でアクセスを繰り返すもの」というのは、前者の「自動的にRSSデータにアクセスを繰り返すもの」を示している。このようなRSSリーダーで読み込みする間隔が短いものでは1分間隔といったものまである。ちなみに、IE7というブラウザに付いているRSSリーダーでは15分間隔でアクセスが繰り返される。

多くのユーザがRSSリーダーを扱い、それがRSSに定期的アクセスを繰り返せばそのアクセス数は大量となり、特にYahoo!ブログなどではその量は膨大となるはずだ。

自動巡回はサーバ負荷になるからやめてくれとか。

今までの記述を見てみれば、一般人がブラウザで通常にブログにアクセスする以外にも様々な方法でサービスにアクセスが行なわれ、アクセスアップ目的の自動巡回によるアクセスは、ほんの一握りでしかないことが分かる。

しかし、あるブログサービスではアクセスアップ目的の自動巡回はサーバ負荷になるからやめてくれという内容のコメントがサービス運営側から公開されているのだ。

しかしこのような行為は、サービス運営側の技術力の無さ、運営リソースの無さから発生するサービスのレスポンス低下に掛かる原因の矛先を運営側の問題から、一部の悪質ユーザーという向き変えるサービス利用者を騙すような行為でしかない。

このようなコメントがサービス運営側から公開されるようになったら、そのサービスの改善やクオリティの向上は期待できない限界に達したと言うできであろう。

自動巡回プログラム(1)

Tue, 13 Mar 2007 00:55:19 +0900

JAVAで自動巡回プログラムを作る(1)

以下のソースコードは、自動巡回プログラムの大本となるソースコードである。
このプログラムが何を行うかというと、Yブログの更新情報RSSを取得し、その中から更新ブログのURLのみを取り出すというプログラムである。

これを一般的な名称で呼ぶならば、「RSSリーダー」となる。

import java.net.URL ;
import java.util.*;
import java.io.IOException ;
import de.nava.informa.core.* ;
import de.nava.informa.impl.basic.* ;
import de.nava.informa.parsers.* ;

class AR{
	public static void main(String[] args){
		try{			
		   URL url = new URL("http://blogs.yahoo.co.jp/rss.xml") ;
		   ChannelIF channel = FeedParser.parse(new ChannelBuilder(), url);
		   Collection list = channel.getItems() ;
		   ItemIF[] items = (ItemIF[]) list.toArray(new ItemIF[0] ) ;
		   for(int i = 0; i < items.length ; i++) {
		      URL itemURL  = items[i].getLink() ;
		      System.out.println("URL："+itemURL) ;
		   }
		}catch(IOException e){
			System.out.println("RSSの読み込みに失敗しました") ;
		}catch(ParseException e){
			System.out.println("RSSの解析に失敗しました") ;
		}
	}
}

実行すると・・・

このRSSリーダーをコマンドライン上で実行すると以下の通り。
URLのみが表示される。

このRSSリーダーより得られる更新ブログURLをうまく加工し利用することで、自動巡回が可能となるのである。

必要なもの

RSSを扱うためにinformaを利用している。
このため、このRSSリーダーを動かすにはinformaが必要である。
また、このプログラムはJAVAで作られているので実行するにはJAVAの実行環境が必要である。

続く・・・(予定)

自動巡回をするうえでの問題

Wed, 24 Jan 2007 01:53:50 +0900

本格的に自動巡回を行なうと、とある問題が発生する。

アンチ自動巡回ブログユーザの存在である。
まず、本格的に自動巡回を行なうとYahoo!ブログのランキングに入ってしまう。それも上位にランクインしてしまうのである。
これで、ランキング入りしてしまうような不正を行なっていることがばれてしまう。ブログ自体の訪問者がどれくらいなのかと言う情報は、統計情報を表示しない設定にすればバレないことなのだが、ランクインしてしまうことは、ブログ運営者側としては防ぐことができない。

ランキングに入ってしまっても、ブログの記事の量や質、そしてゲストブックや記事へのコメントを内容が不自然でない物であれば、自動巡回ブログだと疑われる可能性は薄れるわけだが、なぜだかYahoo!ブログのユーザはコメント欄やゲストブックに「履歴からきました～」と言う旨の記述を行なう。

ゲストブックが公開されている場合には、この類のコメントは全てゲストブックに書かれるわけだが、ゲストブックを閉鎖してしまうとこれが面白い事に、記事に対してこの類のコメントを書き込んで立ち去っていくのである。しかも、それらのコメントが記事の内容と関連性が無くとも、コメントを書き込むのだから困った人達である。

これらのユーザ行動は、自動巡回ブログに対する攻撃なのか、それとも自分のブログに訪問してくれた人に対しては「履歴からきました。見てくれてありがとね」的なコメントを残すのがマナーか何かだと思っているのだろうか・・・？もしかして、これは自動巡回ブログに便乗して、自分のブログを宣伝しているだけなのかもしれない。

そんなわけで自動巡回をしていると「履歴からきました～」的な書き込みと、ブログ自体の質から自動巡回ブログの疑いをかけられる。

さて、自動巡回ブログの疑いをかけられるようになると登場するのが、「アンチ自動巡回ブログユーザ」である。こいつらは、ゲストブックやコメント欄に「自動巡回お疲れ様」と書いたり、意味不明な書き込みで荒しを行ない、自動巡回ブログの撲滅を図るわけだ。

２ちゃんねるのこの辺↓
http://pc10.2ch.net/test/read.cgi/blog/1151504299/
で晒されるくらいなら別に問題ないのだが、コメント欄から攻撃を受けるようになるとこれは困る。

コメントの対策

この対策として、ゲストブックを非公開にし、コメントも書き込めないようにするという対策を行なわなくてはいけなくなる。これで、何も知らない訪問者から「自動巡回」という存在を一応消す事ができるのである。

コメント欄対策の対策「トラックバック攻撃」

各記事のトラックバック欄にトラックバックを行う事で、コメントを強制的に書き込む事が可能なのである。トラックバックからアホなコメントを大量に書き込まれたら、コメント欄を閉鎖しても意味がないわけだな。この攻撃に対してはトラックバックを禁止すれば良い訳だが、残念な事にYahoo!ブログでは記事に対するトラックバックを禁止することができないのである。

Yahoo!ブログ＋自動巡回でアフィリエイト

Mon, 23 Oct 2006 01:52:46 +0900

Yahoo!ブログで自動巡回してアフィリエイトで儲けようという話である。

Yahoo!ブログで自動巡回を行えば、一日あたり数千人の訪問者がやってくる。
この数千人の訪問者を使って、小遣い稼ぎを使用というわけである。

多くのヤフーブログユーザーが知っているかどうかは知らないが、ヤフーブログではYahoo!Japanが運営するアフィリエイトプログラム以外のアフィリエイト広告を表示させる事ができない。

そのため、ヤフーブログでアフィリエイトを行うのであれば、Yahoo!Japanのアフィリエイトプログラムを利用する事になる。Yahoo! JAPANのアフィリエイトの広告以外のアフィリエイト広告を掲載する行為はYahoo!ブログでは規約違反となり、この違反に関しては厳しく対応され、利用制限またはブログ自体が削除される可能性がある。

というわけで、実験してみたが、結果は

訪問者1万人あたりで、100円程度の広告収入が得られる。

サーバへのトラフィック増加について

Sat, 09 Sep 2006 14:24:14 +0900

サーバへのトラフィック増加について

Ｙａｈｏｏ！ブログが重たいのは、自動巡回による影響だ！という記事がいくつか見かけられ、その記事がさらにあちこちのブログにて転載という形で、掲載されていますが。

Ｙａｈｏｏ！ブログが重たい原因のひとつとして、自動巡回によるトラフィック増加の影響が少なからずはあると思います。しかし、ブログが重たいのにはその他の原因が相互に影響しあっていると思われます。

Yahoo!ブログのユーザ数

・先月のYAhoo!ブログのアクティブユーザー数をブログファン(http://www.blogfan.org/)のデータで見てみると、19万程度、そこそこ利用者はいるが、他のブログサービスと比べも突出してユーザ数が多いわけではない。
・ライブドアブログやＦＣ２ブログは25万程度のアクティブユーザがいる。
・ライブドアやＦＣ２のブログはＹａｈｏｏ！ブログより6万ものアクティブユーザーがいるのに、Ｙａｈｏｏ！ブログほど動作が鈍いわけではない。
・また、自動巡回によって6万のアクティブユーザー数分のトラフィックをＹａｈｏｏ！ブログのサーバに与えているというわけでもなく、他のブログサービスもYahoo!ブログ同様に自動巡回を行っているユーザはいる。

上記に様なことから、ユーザー数が多い事がサーバに負荷をかけているというわけではないように思える。

Yahoo!ブログの特徴

Yahoo!ブログは、他のブログと比べとある突出した特徴がある。
ユーザ間のコミュニケーションである。

ブログのコメント欄がチャット化していたり、バトンとか。

１．コメントチャット

コメント本体の機能を見てみると、コメントとして入力できる文字数は少なくコメントで改行をすることができないことから、Yahoo!としては、このコメント欄は1行コメントを行うような利用方法を想定していたのではないかと思われる。

このことにより、Ｙａｈｏｏ!ブログのコメント欄はコメントチャットとして適してしまったのである。

２．ファイルサイズの肥大化

Ｙａｈｏｏ!ブログのコメントは折りたたみ式のコメント欄となっており、記事の一番下にある「コメント」というところをクリックすると、記事に対するコメントが表示できるようになっている。

ブログのソースを見てみればわかるのだが、このコメントは、「コメント」という所をクリックすることによって、記事に対するコメントとして投稿された文章をサーバから新たに取り出しているのではなく、ブログをブラウザで開いた時点でＨＴＭＬ上にコメントが入っており、それを　　JavaScript　　により非表示にさせたり表示させたりしているのである。

記事を表示したときに既にコメントも取得というシステムは、各記事のファイルサイズを肥大化させるというデメリットを発生させたのである。

バトン

バトンというのは、テーマに添ったいくつかの質問をセットし、ブログのユーザはその質問に答え、それを記事にして新たに複数のユーザにその質問群を渡すというものである。

このバトンというのはチェーンメールに似ており、バトンが回ってきたらそれを複数の人に回すというルールのようなものがある。
ひとつのバトンが複数のユーザに回るのであるから、バトン記事はどんどんと増大し、その記事群がブログに投稿され、それはそれはサーバに無駄なトラフックを増やすものであると思われる。尚且つ、バトンの記事を書いた際には、バトンが回ってきた元である記事に対しトラックバックを行うこともあるのである。

チェーンメールが回ってきたら、回さずに止めるというのがネットのマナーとしてコンセンサスが得られていると思うが、バトンをチェーンメールと同じようなものだと考え、バトンを嫌う人間もいる。

Yahoo!ブログでは、このコメントチャットやバトンがコミュニティの一環としてとても盛んに行われており、これらの行為がサーバに負担を掛ける要素のひとつとなっている
しかし、コメントチャットやバトンが何かに迷惑な影響を与えるものだとしても、これはこれで新しいコミュニティの一つとして良いとは思う。

自動巡回の手法2-自動操作ツールを使う‐

Mon, 24 Jul 2006 05:46:54 +0900

自動巡回の手法2-自動操作ツールを使う‐

自動巡回の手法の一つとして、自動操作ツールを使うを使う手法がある。しかし、自動巡回によるアクセスアップとしては最適な方法ではない。また、自動操作時には、PCを利用して別の作業を行えないという制限がある。

自動操作ツールと言うのは、キーボードのマウスで入力した動作を記録し、それを再生と言う形でパソコンを自動操作するためのツールである。

たとえば、Yahoo!ブログの新着ブログのページ。

新着ブログのページを見に行くと、アクセスするたびに新着ブログのページへのリンクが20件ほどあるわだが、このリンクを開き新着ブログを閲覧という動作を、自動操作ツールを使って行うのだ。

マウスを使って、リンクをクリック。そしてブログを開く。ブログを開いたら、再び新着ブログのページへ。という動作を自動化させたとする。
しかしこの場合、実際にやってみるとわかるのだが、新着ブログの各ブログへのリンクが表示されている位置と言うのが、新着ブログのページの上に表示されているバナーや、ニックネームがテキストか、画像か、によって毎回変動してしまう。

具体的な手法

さて、ココで便利なのがRSSである。
ついでに、タブブラウザのFirefoxも利用する。

1.まず始めに、新着ブログのページのRSSをFirefoxのRSSリーダーに登録しておく。

2.新着ブログをすべてタブで開く。（新着ブログのページをRSSで登録しておくと、ブラウザの方で、RSSから読み取った新着ブログをすべて同時にタブで開くことかできる）
http://www.geocities.jp/automatic_round/tabu.PNG

3.その後、ライブブックマークを再読み込みさせる。
http://www.geocities.jp/automatic_round/fgdd.PNG
これを自動操作ツールを使い繰り返し行うのである。

問題

上記の手法に一つ問題があった、新着ブログのページのRSSをいつもやっている方法でFirefoxのRSSリーダーに登録できないのだ。

と言うわけで、以下のようなHTMLファイルを作ってみた。

<html>
<head>
<link rel="alternate" type="application/rss+xml" title="新着ブログ" href="http://rd.yahoo.co.jp/rss/b/blog/update/rss2/01/*http://blogs.yahoo.co.jp/rss.xml">
</head>
</html>

これをFirefoxで開き、以下の画像の赤丸の中にあるマークをクリックすることで、RSSリーダーに登録する事ができる。
http://www.geocities.jp/automatic_round/bvc.PNG

自動巡回の手法

Sun, 16 Jul 2006 02:14:46 +0900

自動巡回の手法

実際に自動巡回ツールがあるかというと、一般に公開されているもの(誰でも自由に手に入れられるもの)は、検索するとちらほら出てくるので、存在するかもしれません。
というか、アクセスUPを目的としないものであるならば、シェアウェアで実際に存在します。

シェアウェアとして存在しますが、自分自身で作ることも可能です。
もっとも簡単な方法としては、ランダムブログを自動で巡回するようなHTMLを記述すること、しかしながらランダムブログは一日中巡回しても同一のブログが表示されれることが多々あるのでそれほどのアクセスUPは望めません。一日あたり300人くらい訪問者が増えるだけ。

ランダムブログを自動で巡回するようなHTMLのソースとしては以下のようなもの、ただしこれはアクセスアップを目的としたものではなく、自動閲覧、あくまでも自動でランダムブログを閲覧する目的の物(これを利用するにはtest.htmlを別に作っておく必要がある。)。見ていると結構面白いとの事。
実働するものを以下のWebページにUPしておきました。
自動巡回ブログのWebサイト

<html>
<head>
<title>
ランダムブログ自動巡回
</title>
<script type="text/　　javascript　　">
<!--
function reload(){ 
     location.href = "test.html" ;
}
-->
</script>
</head>

<FRAMESET cols="100%,*" onLoad="setTimeout('reload()',10000)"> 
  <FRAME src=http://img.yahoo.co.jp/images/clear.gif name="automatic_round" frameborder="1">
</FRAMESET>
</html>

タブブラウザとかを使って、新着ブログのすべてのブログを一気に開くといった事を２～３回程度繰り返してみると、これを自動で一日中やったらすごいアクセス数が増えそうだなというくらいの人が自分のブログに来てくれるのが分かると思うのですが、実際に自動巡回では自動でそれを行います。

Yahoo!ブログでは便利なことに、新着ブログがRSSにて配信されているため、これをまず取得、JAVAにはＨＴＴＰ通信をしたり、ＨＴＭＬをパースしたりするクラスライブラリが標準で存在するので、RSSファイルを取得し、各ブログのURLを取得するにはこれを使います。

この手法でいっぺんに20個のサイトへのURLが取得できるわけ。
URLを取得した後は、20個分のブログに一括で訪問できるようなHTMLファイルをローカル内に排出し、後はYahoo!ブログにログインした状態で、そのファイルをブラウザで見る。

自動巡回用のHTMLファイルでは、読み込みが完了した時点とか、一定時間ごとに再読み込みをさせます。
再読み込みをする前に、新たに自動巡回プログラムの方でRSSを読みに行っておいてHTMLファイルを更新させておく。

自動巡回をする前に、ブラウザの設定として、画像や音声ファイル、フラッシュなどは読み込まないような設定にしておく必要がある。この設定をしないまま自動巡回を行うと、DLしてくるファイルサイズが膨大となり、読み込みに時間がかかるので注意。

あと、新着ブログの訪問者履歴を自動で記録することによって、自動巡回をしているユーザを割り出したりするやつがいるらしいのでそういう人向けの対策をするなら、自動巡回で取得したURLの中にあるユーザーIDのみを、ファイルに書き出して記録させておくかMySQLなどのRDBMSを利用しユーザーIDを記録させておき、ある程度時間が経過した後にブログを自動で巡回するという手法も可能。

この場合、深夜などのブログが快適に動く時間帯を狙って一気に自動巡回するということもできるので便利。

自動巡回するためのプログラムの一部（メイン部分）

public class yblog{
    public static void main(String[] args){
        String url = "http://blogs.yahoo.co.jp/rss.xml" ;
        int i ;
        idGET id_get =new idGET() ; 

        for(i = 0 ; i < 900 ; i++) {                            
            id_get.id_get(url) ;
        }		
    }
}