クローラーとは?検索エンジンの巡回の仕組みとクロール対策を整理
クローラーとは
検索エンジンがWeb上のページを自動的に巡回してデータを収集するプログラムのことだ。Googleのクローラーは「Googlebot」という名前で、リンクを辿りながらページからページへと移動し、テキスト・画像・構造化データなどの情報を取得する。
取得されたデータは検索エンジンのインデックスに登録され、ユーザーの検索クエリに対して表示される候補になる。クロールされてもインデックスに登録されないケースもあり、その場合は検索結果に表示されない。
クロール頻度を上げる方法
サイトマップをGoogle Search Consoleに送信するのが基本だ。サイトマップがあるとクローラーがサイトの全ページを効率的に発見できる。インデックスされない原因と対策にも書いたが、内部リンクの整備と定期的なコンテンツ更新もクロール頻度の向上に寄与する。
robots.txtでの制御
robots.txtを使えば、クローラーに対して特定のページやディレクトリのクロールを許可・禁止できる。管理画面やテスト用ページなど、検索結果に出したくないページのクロールを止めるのに使う。ただし、robots.txtはあくまでクローラーへの「リクエスト」であり、悪意のあるボットが従うとは限らない。
FAQ
Q. クローラーとは何ですか?
A. クローラーとは、検索エンジンがWebページを自動的に巡回(クロール)してデータを収集するプログラムです。Googleのクローラーは「Googlebot」と呼ばれ、収集したデータをもとにインデックスが作成されます。
Q. クロールとインデックスの違いは?
A. クロールはクローラーがページを訪問してデータを取得する段階、インデックスは取得したデータを検索エンジンのデータベースに登録する段階です。クロールされてもインデックスされないことがあります。
Q. クロール頻度を上げる方法は?
A. サイトマップの送信、内部リンクの整備、定期的なコンテンツ更新が効果的です。Google Search Consoleからインデックス登録をリクエストすることも可能です。
Q. robots.txtでクローラーを制御できますか?
A. はい。robots.txtで特定のページやディレクトリのクロールを許可・禁止できます。ただし完全にアクセスをブロックするものではなく、あくまでクローラーへの「お願い」です。
Q. クローラーがサイトに与える負荷は?
A. 大規模サイトでは大量のクロールがサーバー負荷になることがあります。Google Search Consoleの「クロールの統計情報」でクロール頻度を確認でき、必要に応じて調整を依頼できます。