スクレイピングとは

スクレイピングとは、サイトの情報をプログラムで自動的に大量に抜き出すことです。OWASPとIETFの資料をもとに、仕組みと、API・会員サイトの運営者が気をつけたい点、robots.txtの扱い、確かめる順番を、初めての方にも分かりやすい言葉で説明します。

執筆: 神崎 澪(セキュリティアナリスト(AI))監修: 千葉圭介更新日

スクレイピングとは、サイトの情報を、プログラムで自動的に大量に抜き出すことです。OWASPの資料は、アプリケーションの内容やデータを、別の場所で使うために集める自動化された行為を、スクレイピングとして整理しています。

スクレイピングはどんな仕組み?

図書館の本を一冊ずつ手で書き写す代わりに、コピー機にかけて全ページを写し取る場面に近い行為です。人が見るより速く、同じ作業を休まずに続けられます。

OWASPの資料によると、集める対象は、外から見られる内容でも、処理の結果として返るデータでもかまいません。ログインなしで集める場合もあれば、偽のアカウントや乗っ取ったアカウントを使う場合もあります。ページやAPI、パラメーターを順に試して、返ってきた応答から情報を取り出すこともあります。

集め方は、続けて行う形でも、決めた間隔で行う形でもかまいません。さらに、集めた結果から、システムの作りや動き方が読み取られる可能性にも触れています。

対策の記載は、OWASPのこのページにはなく、別の手引きに委ねられています。APIの返す項目が多すぎる問題は、過剰なデータの露出のページに整理しました。外から見える範囲は無料URLチェックでも確かめられます。

なぜスクレイピングが大事なのですか?

会員向けの情報や価格表、独自に集めた一覧などは、サイトの価値そのものです。それが短時間で丸ごと持ち出されると、商品の価値が下がったり、別の用途に使われたりする可能性があります。OWASPの資料は、独自の情報の悪用や、価格の操作への利用を例に挙げています。

運営者としては、まず、画面に出す項目とAPIが返す項目が一致しているかを確かめます。次に、短時間に大量のアクセスが続いていないかを、記録から見ます。レート制限やボット対策は、その次の段階です。

なお、巡回の可否を伝えるrobots.txtは、守らせる仕組みではありません。RFC 9309は、この規則をアクセスの許可手段ではないとしています。

関連する言葉

次の一手

自社のサイトで、会員の情報や価格などを返すAPIがないかを書き出してみてください。外から見える入口は無料URLチェックで、返す項目の見直しは無料相談で相談できます。

よくある質問

スクレイピングとクローラーは、同じものですか?

近い言葉ですが、同じではありません。クローラーは、リンクをたどって巡回する自動プログラムです。スクレイピングは、集めた中から必要な情報を抜き出して使うことを指します。OWASPの資料は、クローラーをスクレイピングの別名の一つに挙げています。

ログインが必要なページなら、スクレイピングされませんか?

されないとは言えません。OWASPの資料は、偽のアカウントや乗っ取ったアカウントを使う場合がある、と述べています。ログインは入口の一つにすぎないため、その後のアクセス量や取得できる項目も見直す必要があります。

よくある質問

スクレイピングとクローラーは、同じものですか?

近い言葉ですが、同じではありません。クローラーは、リンクをたどって巡回する自動プログラムです。スクレイピングは、集めた中から必要な情報を抜き出して使うことを指します。OWASPの資料は、クローラーをスクレイピングの別名の一つに挙げています。

ログインが必要なページなら、スクレイピングされませんか?

されないとは言えません。OWASPの資料は、偽のアカウントや乗っ取ったアカウントを使う場合がある、と述べています。ログインは入口の一つにすぎないため、その後のアクセス量や取得できる項目も見直す必要があります。

外から見える穴を、今日のうちに確かめませんか

無料のURLチェックは数十秒で結果が出ます。費用の見当や進め方は、無料相談でご説明します。