Googleウェブマスターツールにrobots.txt生成ツール

Google Webmaster Central Blogによると、検索エンジンクローラー（巡回ロボット）を制御
できるrobots.txtファイルを生成できるツールをGoogleウェブマスターツールの運用ツール
内に用意したそうな。Googleの手取り足取りサポートはスゴイですな・・・。（＾＾

robots.txt 生成ツールについて

ほとんどのウェブマスターは robots.txt ファイルの作成に慣れていません。
ウェブマスター ツールの robots.txt 生成ツールでは robots.txt ファイルを簡単に
作成して、サイトのクロールを希望しないロボットを指定したり、サーバーの特定の
ファイルやディレクトリへのアクセスを許可またはブロックできます。

ロボット全体の巡回を許可するかブロックするか決めて、許可の場合は、細かく個々の
ロボット(Googlebot、Googlebot-Mobileなどの他に任意のもの)や、特定ファイル･フォルダの
制御を指定できるようになってます。で、それがボックス内にテキストとして出力される。

ちなみに、robots.txtファイルはトップレベルのドメインのサイトでないと利用できんですー。

× http://www.sample.co.jp/(自分のつけた英文字)/
○ http://www.sample.co.jp/
○ http://(自分のつけた英文字).sample.co.jp/