robots.txtとは？
クローラーに見せる範囲を指定する話
robots.txtとは
robots.txtは、Webサイトのルートディレクトリに置くテキストファイルで、検索エンジンのクローラー（自動巡回プログラム）に対して「このディレクトリは見に来なくていい」「ここは巡回してOK」と指示するものだ。
たとえば管理用のページや下書きフォルダをクローラーに見せたくない場合に使う。ただしrobots.txtはあくまで「お願い」であり、悪意のあるボットが従う保証はない。
このブログでの使い方
全ページ巡回OK + サイトマップ記載
このブログでは特に隠すページがないため、robots.txtにはクローラーの巡回を全許可する記述と、サイトマップのURLを記載している。クローラーがrobots.txtを最初に読み、そこからサイトマップを見つけるという流れになる。
覚えておきたいポイント
robots.txtでブロックしてもインデックスされることがある
robots.txtでクローラーのアクセスをブロックしても、他サイトからのリンクなどでURLを知ったGoogleがインデックスしてしまうことがある。確実にインデックスさせたくない場合はnoindexメタタグも併用する必要がある。
robots.txtの記述ミスに注意
Disallow（拒否）の記述を間違えると、サイト全体がクローラーから遮断されてしまう。Search Consoleの「robots.txtテスター」で記述が正しいか確認してから公開するのが安全だ。
FAQ
Q. robots.txtとは何ですか？
A. Webサイトのルートに置くテキストファイルで、検索エンジンのクローラーにどのページを巡回してよいか指示するものです。
Q. robots.txtは必ず設置する必要がありますか？
A. 必須ではありませんが、設置しておくことが推奨されています。特にサイトマップのURLを記載しておくと、クローラーがサイト構造を把握しやすくなります。
Q. robots.txtでブロックするとインデックスされませんか？
A. 必ずしもそうではありません。他サイトからのリンク経由でURLが発見され、インデックスされることがあります。確実に除外したい場合はnoindexメタタグも併用してください。
Q. robots.txtはどこに置きますか？
A. サイトのルートディレクトリに配置します。URLはhttps://example.com/robots.txtの形になります。
Q. robots.txtの記述ミスが心配です。確認方法は？
A. Google Search Consoleの「robots.txtテスター」機能で、特定のURLがブロックされるかどうかを確認できます。
