ロボットテキストとは

「ロボットテキスト(robots.txt)」とは、特定のページをクロールされないように制御するためのファイルのことです。

Webサイト内にロボットテキストを設置することで、クローラーに「巡回してほしい情報」と「巡回してほしくない情報」を伝え、クロールの頻度や伝える情報をコントロールできるようになります。
その結果、重要なコンテンツを適切にクロールさせられるようになり、SEO効果を得ることが可能となるのです。

なお、ロボットテキストと似た役割を果たすものとして「noindexタグ」というものがあります。
ロボットテキストはクローラーの巡回を制御するファイル、noindexタグはインデックスを拒否するタグであるため、役割がまったく異なります。
クローラーの巡回をコントロールしたいときはロボットテキスト、検索結果に表示させたくないページはnoindexタグを使用するなど、目的に合わせて使い分けることが大切です。

 
シニヤン

検索エンジンがWebサイトを発見して情報収集することを「クロール」、その内容をデータベースに登録して検索できるようにすることを「インデックス」と言うよ。SEO施策で重要になる語句だから、セットで覚えておこうね!