robots.txtとは

robots.txtとは、検索ロボットに巡回の可否を伝えるファイルです。RFC 9309をもとに、置き場所や役割、アクセス制限の代わりにはならない理由と、公開サイトの運営者が気をつけたい点を、やさしい言葉で順に説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

robots.txtとは、検索ロボットに巡回の可否を伝えるファイルです。IETFの標準であるRFC 9309は、Robots Exclusion Protocol(ロボット排除プロトコル)として、この仕組みを定めています。運営者が、自分のコンテンツへのアクセスの扱いを知らせる手段です。

robots.txtはどんな仕組み?

お店の入口に「関係者以外はご遠慮ください」と書いた札を掛けるのに似ています。札を見た人は引き返しますが、扉に鍵はかかっていません。

RFC 9309によると、この規則を書いたファイルは、サイトの最上位の場所に、すべて小文字のrobots.txtという名前で置きます。文字コードはUTF-8です。巡回するプログラムは、このファイルに書かれた規則を尊重するよう求められています。

ここで大切なのは、求められているだけで、強制されてはいない点です。RFC 9309自身が、これらの規則はアクセスを許可する手段ではない、と書いています。

クローラーの動きはクローラーの用語ページに整理しました。公開しているファイルや設定の見え方は、無料URLチェックでも確かめられます。

なぜrobots.txtが大事なのですか?

検索に載せたくないページを、robots.txtだけで守ろうとする誤りが起きやすいためです。RFC 9309は、セキュリティの考慮事項として、この仕組みは正しいセキュリティ対策の代わりにならないと述べています。

さらに、robots.txtにパスを載せると、そのパスが公開されて見つかりやすくなる、とも書かれています。管理画面や非公開の資料の場所をここに並べると、かえって場所を知らせる形になります。

アクセスを制御したい対象には、HTTP認証のように、その場で通信を確かめる仕組みを使うよう、RFC 9309は勧めています。IPAのチェックポイントにも、公開すべきでないファイルを公開していないかを問う項目があります。

関連する言葉

  • クローラー:サイトを自動で巡回して、情報を集めるプログラムです。
  • スクレイピング:サイトの情報を、プログラムで大量に抜き出すことです。

次の一手

自社のrobots.txtを開いて、非公開のはずの場所の名前が並んでいないかを見てみてください。公開してはいけないファイルが外から開けないかは、無料URLチェックで確認できます。守り方の相談は無料相談へどうぞ。

よくある質問

robots.txtに書けば、見られたくないページを隠せますか?

隠せません。RFC 9309は、robots.txtにパスを載せると、それが公開され、見つけやすくなると述べています。アクセスを制御したい場合は、HTTP認証のような、正しい安全対策を使うよう勧めています。

robots.txtは、どこに置くのですか?

RFC 9309の定めでは、サイトの最上位の場所に、すべて小文字のrobots.txtという名前で置きます。文字コードはUTF-8です。それ以外の場所に置いたものは、この定めの置き場所ではありません。

よくある質問

robots.txtに書けば、見られたくないページを隠せますか?

隠せません。RFC 9309は、robots.txtにパスを載せると、それが公開され、見つけやすくなると述べています。アクセスを制御したい場合は、HTTP認証のような、正しい安全対策を使うよう勧めています。

robots.txtは、どこに置くのですか?

RFC 9309の定めでは、サイトの最上位の場所に、すべて小文字のrobots.txtという名前で置きます。文字コードはUTF-8です。それ以外の場所に置いたものは、この定めの置き場所ではありません。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。