執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日
クローラーとは、サイトを自動で巡回して情報を集めるプログラムです。IETFの標準であるRFC 9309は、クローラーを自動化されたクライアントと呼び、検索エンジンがリンクをたどって索引を作るために使うと説明しています。
クローラーはどんな仕組み?
図書館で、司書が棚を端から順に見て回り、本の題名を目録に書き写していく作業を想像してください。クローラーは、これをインターネット上で自動で行います。あるページを開き、そこにあるリンクを見つけ、次のページへ進む動きをくり返します。
こうして集めた情報が、検索結果に表示される材料になります。自社のサイトが検索で見つかるのは、巡回を受けて内容が登録されているためです。
巡回を受ける側は、robots.txtというファイルに、巡回してよい範囲を書いて伝えられます。RFC 9309は、クローラーがこの規則を尊重するよう求められている、と説明しています。つまり、お願いにとどまり、守らせる仕組みではありません。
仕組みの細かい書き方はrobots.txtの用語ページにまとめました。自社サイトがどう見えているかは無料URLチェックで確かめられます。
なぜクローラーが大事なのですか?
巡回を受けること自体は、検索で見つけてもらうために必要な動きです。一方で、すべてのクローラーが検索エンジンのものとは限りません。
OWASPの資料は、情報を集めて別の場所で使う自動化された行為を、スクレイピングとして整理しています。その別名に、クローラーや、AIの学習用に集めるものを挙げています。目的が違えば、サイトへの影響も変わります。
運営者がまず確かめたいのは、見せるつもりのないページが公開されていないかです。ログイン後の情報や、非公開のはずのファイルが外から開ければ、クローラーに限らず誰にでも読めてしまいます。
関連する言葉
- robots.txt:検索ロボットに巡回の可否を伝えるファイルです。
- スクレイピング:サイトの情報を、プログラムで大量に抜き出すことです。
次の一手
巡回を受けて困る情報があれば、robots.txtに頼らず、ログインや権限の確認で守ります。アクセスの量を抑える考え方はレート制限に整理しました。公開範囲の点検は無料URLチェックで、方針の相談は無料相談で受け付けています。
よくある質問
クローラーは、すべて検索エンジンのものですか?
違います。RFC 9309は、検索エンジンがリンクをたどって索引を作るためにクローラーを使うと述べています。一方でOWASPは、クローラーという呼び名を、情報を集める自動化された行為の別名の一つに挙げています。目的は一様ではないので、誰が巡回しているかを見分ける視点が要ります。
クローラーの巡回を、サイト側で断れますか?
robots.txtというファイルで、巡回してよい範囲を伝えられます。ただしRFC 9309は、この仕組みを、アクセスを許可する手段ではないと明記しています。守るかどうかは相手のクローラー次第なので、見せたくない情報には別の対策が必要です。
よくある質問
クローラーは、すべて検索エンジンのものですか?
違います。RFC 9309は、検索エンジンがリンクをたどって索引を作るためにクローラーを使うと述べています。一方でOWASPは、クローラーという呼び名を、情報を集める自動化された行為の別名の一つに挙げています。目的は一様ではないので、誰が巡回しているかを見分ける視点が要ります。
クローラーの巡回を、サイト側で断れますか?
robots.txtというファイルで、巡回してよい範囲を伝えられます。ただしRFC 9309は、この仕組みを、アクセスを許可する手段ではないと明記しています。守るかどうかは相手のクローラー次第なので、見せたくない情報には別の対策が必要です。