robots.txtとは

こんにちはWEBチップス管理人です

WEBマーケティング関連の情報をお届けします！！

-

robots.txt

【英語表記】　robots.txt

robots.txt(ロボッツドットテキスト)とは、検索ロボットまたは、

スパイダーと呼ばれているプログラムに対し、クローリングされたくない

WEBページを記述する事でクローリングを制限する事の出来る命令文。

例えば下記の様なディレクトリを持つWEBサイトがある。

index.html —-
|– img
|– php
|– news

このWEBサイト中の、PHPフォルダ内を検索エンジンに見られたく無い場合、

ウェブサイトのルートディレクトリ（index.htmlと同階層）に

robots.txtを設置し、適切な命令を記述する事で可能となる。

この場合の命令文は、

────────────────────────
User-agent: *
Disallow: /php/
────────────────────────

と記述することで、検索データベースへの登録を禁止する事が出来る。

制御したいファイルが存在しない場合robots.txtを設置する

必要は無いが、SEO的な観点では設置した方が良いと言える。

理由は、優秀な検索ロボットがWEBページを巡回する場合にはまず

robots.txtを探すからである。

制御したいファイルが無い場合は、下記の記述をルートディレクトリへ

設置する事をお勧めする。

────────────────────────
User-agent: *
Disallow:
────────────────────────

これは、全てのロボットが全てのページを巡回しても良い。

という命令となり、検索ロボットも迷わずクロールが出来る様になる。

最近（08.08.0現在）サイトマップ（XML）のURLを記述する事で、

サイトマップの有無をクローラーに知らせる事が可能となった。

記述方法は以下の通り

────────────────────────
User-agent: *
Disallow:
Sitemap: http://www.seo119.com/sitemap.xml
────────────────────────

-

ブログランキングに参加しています！

ご協力していただけると嬉しいです

——————————-

WEBマーケティング情報のWEBチップス

written　by　RIE

——————————-