URLを入れるだけで、robots.txt と sitemap.xml が正しく設定されているかを確認します。「サイト全体がクロール拒否のまま公開されていた」「サイトマップが検索エンジンに届いていない」といった、気づきにくいのに影響が大きい事故を検出します。
/robots.txt を取得して User-agent ごとの Disallow / Allow / Sitemap を解析し、記載されたサイトマップ（記載がない場合は /sitemap.xml などの定番の場所）を読み込んでURL件数を数えています。サイトマップインデックスの場合は子サイトマップを最大5本まで辿ります。
robots.txt は必ず必要ですか？
無くてもクロールはされるので必須ではありません。ただしサイトマップの場所を伝えられるため、最低限 Sitemap: https://example.co.jp/sitemap.xml の1行だけでも置くことをおすすめします。逆に、書き方を間違えるとサイト全体が検索結果から消えるリスクもあるため、必要以上に複雑な設定は避けてください。
「Disallow: /」になっていました。どうすればいいですか？
サイト全体がクロール拒否の状態で、検索結果から消えます。制作中のテスト環境の設定が本番に残ってしまう典型的な事故です。WordPressの場合は「設定 > 表示設定 > 検索エンジンでの表示」のチェックが入っていると自動的にこの状態になるので、まずそこを確認してください。修正後、Google Search Console から再クロールを依頼すると復帰が早まります。
robots.txt で noindex にできますか？
できません。robots.txt はあくまで「クロールしないでください」という指示で、インデックス（検索結果への登録）を止めるものではありません。むしろ robots.txt でブロックすると、ページの中身を読めないまま「URLだけ」が検索結果に出ることがあります。検索結果に出したくないページは、robots.txt でブロックせず、そのページに <meta name="robots" content="noindex"> を書いてください。
サイトマップに載せるURLの数に上限はありますか？
1ファイルあたり5万URL・50MB（非圧縮）までです。超える場合は分割し、サイトマップインデックスでまとめます。WordPressの標準機能やSEOプラグインは自動で分割してくれます。なお、サイトマップに載せるのはインデックスさせたいURLだけにしてください。noindexのページやリダイレクトされるURLが混ざっていると、Search Consoleでエラーとして報告されます。
🔒 調べた内容は記録・公開しません
- 検索した内容を保存・一覧化・公開しません。調査結果をデータベース化して検索できるようにしたり、他の利用者に見せたりすることは一切ありません。
- 検索履歴を残しません。誰が何を調べたかを紐づけて蓄積することはしません。会員登録・ログインも不要です。
- 第三者に提供・販売しません。営業リストや広告目的での利用もありません。
- サーバー負荷を抑えるため、判定結果のみ最大1時間の一時キャッシュに保持し、時間の経過で自動的に消えます。連続アクセスの制限用にIPアドレスをハッシュ化した値を最大10分間だけ保持します（元のIPアドレスは保存しません）。
- 調べた対象は共有用にURLの
#以降に付きますが、この部分はサーバーにもアクセス解析にも送信されません。
同じ分類のツール（SEO・公開設定）
WordPress専門のホームページ制作会社です。日々の制作で「毎回調べるのが面倒だった」ことを、そのままツールにして公開しています。
診断結果の見方や改善のご相談も承っています。お問い合わせ