サイトを公開したのに検索結果に出てこないとき、最初に疑うのがrobots.txtとサイトマップです。
どちらも普段は目に入らないファイルなので、設定の誤りに気づきにくいところです。
この記事では、URLを入れて2つのファイルをまとめて確かめる方法と、WordPressで見るべき場所を紹介します。
この記事で使うrobots.txt・sitemap.xml診断は、当サイトと同じMOTOKI合同会社が作った「WEBツール箱」の1つです。
無料で、会員登録なしで使えます。
最終確認日：2026年10月2日（診断ツールとWAZAのサイトマップXMLを照合）
この記事で分かること
- robots.txtとサイトマップの役割の違い
- 2つのファイルをまとめて確かめる手順
- WordPressが自動で出すrobots.txtとサイトマップの中身
- サイトが検索に出ないときに見る場所
先に結論｜2つのファイルの役割
| ファイル | 役割 | 置く場所 |
|---|---|---|
| robots.txt | 検索エンジンに「ここは巡回しないでください」と伝える | ドメインの直下（https://example.com/robots.txt）だけ |
| サイトマップ | 検索エンジンに「このサイトにはこのURLがあります」と伝える | 通常は対象URLの範囲を含む場所に置く。配置場所・ホストの制約を確認し、Search Consoleなどで送信する |
robots.txtは無くても巡回はされますが、サイトマップの場所を伝えられるので、置いておくのがおすすめです。
書き方を誤るとサイト全体が巡回されなくなるので、必要以上に複雑にしないことが大切です。
ツールで確かめる手順
- robots.txt・sitemap.xml診断を開く
- 調べたいサイトのドメインを入れて「診断する」を押す
- robots.txtの有無、サイトマップの宣言の有無、サイトマップのURL数が出る
- その下に、診断結果・サイトマップの一覧・robots.txtの中身が並ぶ
ツールはドメインの直下のrobots.txtを読み、そこに書かれたサイトマップを開いてURLの数を数えます。
robots.txtにサイトマップの記載が無い場合は、sitemap.xml や wp-sitemap.xml などのよく使われる場所を探します。
実際に調べた結果
wp-cocoon.com｜WordPress本体のサイトマップ
wp-cocoon.comの診断の結果です。
robots.txtの最後の行に、WordPress本体が作るサイトマップ「wp-sitemap.xml」が書かれていました。
サイトマップは、投稿・固定ページ・カテゴリーなどの子サイトマップを束ねた「サイトマップインデックス」で、5本の合計は689 URLでした。
「User-agent: bingbot」の段では、Bingの巡回にだけ別の指定をしています。
このように、検索エンジンごとに巡回してよい場所を変えることもできます。
wordpress.org｜サイトマップが9本
wordpress.orgのrobots.txtには、サイトマップの行が9本書かれていました。
ツールは先頭の4本を読み、合計810 URLと表示しました。
「サイトマップに lastmod（最終更新日）がありません」という注意が1件出ています。
lastmodは各URLの最終更新日で、書いてあると更新を検索エンジンに気づいてもらいやすくなります。
WordPressが自動で出す内容
WordPressをドメイン直下で公開し、仮想robots.txtへのルーティングが有効な場合の標準例です。実ファイル、設置パス、表示設定、プラグインやフィルターによって出力は変わります。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml管理画面（/wp-admin/）は巡回させず、公開ページからも呼ばれる admin-ajax.php だけは許可する内容です。
WordPress 5.5からは、本体のサイトマップ「wp-sitemap.xml」の行も自動で加わります。
サーバーにrobots.txtのファイルを置くと、そちらが優先され、WordPressの自動の内容は使われません。
SEOのプラグインを使っている場合は、サイトマップの場所がプラグインの作るものに変わることがあります。
どのサイトマップをSearch Consoleに送ればよいかは、「Search Consoleのサイトマップの登録」で解説しています。
WordPressをサブディレクトリに入れている場合
robots.txtが効くのは、ドメインの直下に置いたものだけです。
このサイトはドメインの下の /wordpress/ に入っていて、/wordpress/robots.txt を開くと「404」が返ります。
一方で、サイトマップの /wordpress/wp-sitemap.xml は開けます。
サブディレクトリのWordPressでは、サイトマップをSearch Consoleで送るか、ドメインの直下のrobots.txtに「Sitemap:」の行を足して伝えます。
サイトが検索に出ないときに見る場所
| 見る場所 | 問題になる状態 | 直し方 |
|---|---|---|
| robots.txt | 「Disallow: /」でサイト全体の巡回を拒否している | 公開対象であることと該当User-agentを確認し、バックアップ後に必要な拒否だけ修正する |
| WordPressの「設定」の「表示設定」 | 「検索エンジンがサイトをインデックスしないようにする」にチェックが入っている | 一般公開するサイトだけチェックを外す。テスト環境や非公開サイトでは維持する |
| サイトマップ | 開けない、または中身が0件 | SEOのプラグインの設定と、Search Consoleに送ったURLを確かめる |
| robots.txtの Disallow | CSSやJavaScriptのフォルダーを拒否している | 該当の行を消す。検索エンジンがページを正しく描画できなくなる |
今のWordPressでは、「インデックスしないようにする」にチェックを入れても、robots.txtに「Disallow: /」は書かれません。
代わりに、各ページに「noindex, nofollow」の指示が付き、robots.txtのサイトマップの行と wp-sitemap.xml が消えます。
そのため、ツールで「サイトマップが見つかりませんでした」と出たWordPressのサイトでは、まずこのチェックを疑ってください。
ツールを使わずに確かめる方法
robots.txtは、ブラウザーでドメインの後ろに「/robots.txt」を付けて開けば中身を読めます。
サイトマップも、robots.txtに書かれたURLをそのまま開けば中身が表示されます。
Search Consoleを使っているなら、「設定」の「robots.txt」で、Googleが最後に読んだ日時と内容を確かめられます。
サイトマップは「サイトマップ」の画面で、送ったサイトマップの状態と、見つかったURLの数を確かめられます。
ツールでできないこと
| できないこと | 理由 |
|---|---|
| サブディレクトリのrobots.txtを読む | ドメインの直下のrobots.txtだけを読む（検索エンジンと同じ） |
| サイトマップを5本以上読む | robots.txtに書かれたサイトマップは先頭の4本、インデックスの子は各5本まで読む |
| 入れ子のインデックスを最後まで数える | インデックスの子がさらにインデックスの場合、その先は数えない |
| ページごとのnoindexを調べる | robots.txtとサイトマップだけを見る。ページのnoindexは別の方法で確かめる |
wordpress.orgの結果が810 URLだったのは、読む本数に上限があるためで、サイトにあるURLの総数ではありません。
よくある質問
Q. robots.txtで検索結果から消せますか？
消せません。
robots.txtは「巡回しないでください」という指示で、検索結果への登録を止めるものではありません。
robots.txtで巡回を拒否すると、ページの中身を読めないまま、URLだけが検索結果に出ることがあります。
公開ページを検索結果から除外したい場合は、クローラーが読める状態でnoindexを返します。非公開情報はnoindexやrobots.txtに頼らず認証で保護します。
Q. サイトマップに載せるURLの数に上限はありますか？
1つのファイルにつき5万URL、圧縮前で50MBまでです。
WordPress本体やSEOのプラグインは、上限を超える前に自動で分けてくれます。
Q. サイトマップに載せないほうがよいURLはありますか？
noindexのページや、転送されるURLは載せないでください。
含まれている場合は、Search Consoleのインデックス登録状況と対象URLを確認します。サイトマップの送信自体は、登録や表示を保証しません。
報告が出たときの直し方は、「送信されたURLにnoindexタグが追加されています」で解説しています。
サブディレクトリのサイトは別のサイトマップを確認する
| 確認項目 | 確認結果・判断 |
|---|---|
| ドメイン直下の診断 | 2026年10月2日14:54、motoki-design.co.jpは「問題ありません」、71 URL。対象は /wp-sitemap.xml |
| WAZAのサイトマップ | /wordpress/wp-sitemap.xml はHTTP 200。4本の子サイトマップを別途取得 |
| WAZAの内訳 | 投稿400、固定ページ6、カテゴリー13、タグ1。合計420 URL（同日取得時点） |
| robots.txtの宣言 | ドメイン直下のファイルは /wp-sitemap.xml のみを宣言していた。71件の結果にWAZA配下の420件は含まれない |
| Search Consoleで確認すること | WAZAを含むプロパティで、送信したサイトマップURL、最終読み込み、検出URLを確認する。今回、送信状態や登録状況は確認していない |
「問題ありません」は、ツールが取得したrobots.txtとサイトマップの判定です。同じドメイン内に別のWordPressがある場合、そのサイトマップまで自動で検査したとは限りません。対象サイトの管理画面や実際のXMLでURLを特定し、そのURLを確認します。
420件はサイトマップの掲載数です。全ページのnoindex確認や、Googleの登録数の確認は含みません。掲載URLの検査はnoindexをサイトマップから外す方法で扱います。
まとめ
- robots.txtとサイトマップはrobots.txt・sitemap.xml診断でまとめて確かめられる
- robots.txtが効くのは、ドメインの直下に置いたものだけ
- WordPressの仮想robots.txtとサイトマップは、公開設定・設置場所・拡張機能の条件も確認する
- 検索に出ないときは、「Disallow: /」と表示設定のチェックを確かめる
- 検索結果から消したいページには、robots.txtではなくnoindexを使う
ページごとの見出しやnoindexの状態は、「内部SEOのチェック方法」で確かめ方を紹介しています。
ほかの項目もまとめて点検するなら、「WordPressサイトを自分で点検する手順」で順番と使い分けを解説しています。
ツールの一覧はWEBツール箱にあります。
