インデックス促進に効果あり！サイトマップをrobots.txtに記載しよう
WEBZINNEトピックス編集部公開日：2021年1月19日
サイトマップをrobots.txtに記載すると、簡単にスピーディにサイトマップを検索エンジンに知らせることができます。サイトマップは、インデックス促進に効果も期待されます。
robots.txtにサイトマップ情報を記載できる
SEO界隈では有名ですが、実はサイトマップはrobots.txtに記載することができます。
これは、裏技でも何でもなくて、Googleの公式ドキュメントにも記載されている方法です。
robots.txt ファイルを作成する | Google検索セントラル
Sitemap: [省略可。ファイルごとにゼロ個以上] 対象ウェブサイトのサイトマップがある場所。完全修飾 URL であることが必要です。Google は代替 URL（http か https か、www があるかないか）を考慮またはチェックしません。Sitemap は、Google にクロールを許可するコンテンツや許可しないコンテンツではなく、Google でクロールする必要のあるコンテンツを指定するのに適した手段です。
クローラーは、基本的に最初にrobots.txtを読み込んで、クロールの許可情報を取得します。つまり、どのページを読みに来たとしてもrobots.txtは確実にみてくれるので、ここにサイトマップ情報を記載しておけば、robots.txtを経由してサイトマップを確実に知らせることが可能です。
サイトマップは、検索エンジンへのインデックス促進に効果があるので、たった一行でインデックス促進効果が期待できます
robots.txtへのサイトマップ情報を記載方法
これは非常に簡単で、
Sitemap: https://example.com/sitemap.xml
だけです。
記述箇所は、User-agentごとの許諾・拒否設定の前でも後でも良いとされています。サイトマップが複数ある場合は、
Sitemap: https://blog.example.com/sitemap.xml
と複数行で書きます。
robots.txtにサイトマップ情報を記載するメリット
Search Consoleで登録しないでも良い
GoogleのSEOについては、公式ツールであるGoogle Search Consoleを使えば、サイトマップはブラウザから登録が可能です。
しかし、サイトをたくさんもっていて都度追加するのが面倒だったり、何かの理由でGoogle Search Consoleが使えない場合は、Google Search Consoleを利用しないでも確実にサイトマップをクローラーに伝えることができるため、このrobots.txtを使った方法は効果的です。
Google以外のロボットにもサイトマップを知らせることが可能
GoogleにはSearch Consoleという便利なツールがありますが、Bingなど他の検索エンジンなどにサイトマップを知らせる方法として、robots.txtのサイトマップ情報が使えます。
特に、サイト数があると、複数の検索エンジンで登録したり、URLを修正したりと手間が増えてしまうので、自サイトで管理が完結するrobots.txtに統一するメリットは大きいでしょう。
サイトマップをrobots.txtに記載する方法、メリットなどを見てきました。
誰でも簡単にすぐにできる方法なので、ぜひ試してみてください。