SEO用語[robots.txt]

検索エンジンのクローラーが、WEBサイトを
収集する時にはじめに見る部分。

すべての検索エンジンのクロールを禁止する設定。
User-agent: *
Disallow:

すべての検索エンジンのクロールを許可する設定。
User-agent: *
Disallow: /

指定したい内容の2行部分をテキストファイルなどで保存して

名前をrobots.txtにしてindex.html（トップページのファイル）と

同じ階層にアップロードすれば完了。

他にも個別にクローラーを指定したり、

サイト内の特定ファイルのみをクロール禁止にしたりできます。