WEBツール箱

robots.txt / sitemap.xml 診断ツール

URLを入れるだけで、robots.txt と sitemap.xml が正しく設定されているかを確認します。「サイト全体がクロール拒否のまま公開されていた」「サイトマップが検索エンジンに届いていない」といった、気づきにくいのに影響が大きい事故を検出します。

お試し: ・

会員登録・ログイン不要／検索履歴として蓄積・公開しません（一時キャッシュは下記参照）

診断の仕組みについて
/robots.txt を取得して User-agent ごとの Disallow / Allow / Sitemap を解析し、記載されたサイトマップ（記載がない場合は /sitemap.xml などの定番の場所）を読み込んでURL件数を数えています。サイトマップインデックスの場合は子サイトマップを最大5本まで辿ります。
robots.txt は必ず必要ですか？

無くてもクロールはされるので必須ではありません。ただしサイトマップの場所を伝えられるため、最低限 Sitemap: https://example.co.jp/sitemap.xml の1行だけでも置くことをおすすめします。逆に、書き方を間違えるとサイト全体が検索結果から消えるリスクもあるため、必要以上に複雑な設定は避けてください。

「Disallow: /」になっていました。どうすればいいですか？

サイト全体がクロール拒否の状態で、検索結果から消えていきます。制作中のテスト環境の設定が本番に残ってしまう典型的な事故です。

WordPressの「設定 > 表示設定 > 検索エンジンでの表示」にチェックを入れたときの動きは、バージョンによって違います。

  • WordPress 5.2 以前：WordPressが自動で出す robots.txt が Disallow: / になります。
  • WordPress 5.3 以降：robots.txt はそのままで、代わりに各ページに <meta name="robots" content="noindex, nofollow"> が付きます。5.5 以降は、robots.txt の Sitemap: の行と wp-sitemap.xml も出なくなります。

今のWordPressで Disallow: / が出ている場合は、サーバーに直接置かれた robots.txt ファイルか、SEOプラグインの設定が原因のことが多いです。どちらの場合も、検索エンジンでの表示のチェックは noindex の原因になるので、あわせて外れているか確認してください。修正後、Google Search Console から再クロールを依頼すると復帰が早まります。

robots.txt で noindex にできますか？

できません。robots.txt はあくまで「クロールしないでください」という指示で、インデックス（検索結果への登録）を止めるものではありません。むしろ robots.txt でブロックすると、ページの中身を読めないまま「URLだけ」が検索結果に出ることがあります。検索結果に出したくないページは、robots.txt でブロックせず、そのページに <meta name="robots" content="noindex"> を書いてください。

サイトマップに載せるURLの数に上限はありますか？

1ファイルあたり5万URL・50MB（非圧縮）までです。超える場合は分割し、サイトマップインデックスでまとめます。WordPressの標準機能やSEOプラグインは自動で分割してくれます。なお、サイトマップに載せるのはインデックスさせたいURLだけにしてください。noindexのページやリダイレクトされるURLが混ざっていると、Search Consoleでエラーとして報告されます。

🔒 調査結果と一時データの取り扱い

  • 調査結果を検索履歴として蓄積・公開しません。調べた対象を利用者別に一覧化したり、他の利用者が検索できる履歴として公開したりする機能はありません。
  • 検索履歴を残しません。誰が何を調べたかを紐づけて蓄積することはしません。会員登録・ログインも不要です。
  • 第三者に提供・販売しません。営業リストや広告目的での利用もありません。
  • サーバー負荷を抑えるため、判定結果を有効期間最大1時間の一時キャッシュとして保持する場合があります。連続アクセスの制限には、IPアドレスをハッシュ化した値と実行回数を使い、最終受付から10分間の有効期限を設けています。この制限用データに元のIPアドレスは保存しません。
  • 調べた対象は共有用にURLの#以降に付きますが、この部分は通常のHTTPリクエストでは送信されません。URLを共有すると、受け取った方には調査対象が伝わります。

同じ分類のツール（SEO・公開設定）

↪️リダイレクトチェック転送が何段重なっているか、301か302か、www有無とhttpsが統一されているかを1画面で確認します。🖼️OGP・メタタグ確認X・Facebook・LINEでシェアしたときの表示イメージを確認し、タイトルやOGP画像の不備を指摘します。🤖robots.txt / sitemap.xml 診断（表示中）検索エンジンのクロール設定に事故がないか、サイトマップが正しく届いているかを確認します。📝内部SEO施策診断見出し構造・画像のalt・内部リンク・構造化データなど、ページ内部のSEO施策を100点満点で採点します。🚧リンク切れ・エラー診断ページ内のリンクと画像の死活を確認し、404・サーバーエラー・混在コンテンツを洗い出します。📋サイト内ページ一括チェック取得できた公開URLと、種類・URLの型ごとの件数を一覧に。見積もりの下調べと、titleの重複チェックに。📄URL一括タイトル取得複数のURLをまとめて調べ、タイトル・ディスクリプション・h1を一覧表にします。Excelに貼れます。

すべてのツールを見る（35種類） →

運営：WEBツール箱（MOTOKI合同会社）
WordPress専門のホームページ制作会社です。日々の制作で「毎回調べるのが面倒だった」ことを、そのままツールにして公開しています。
診断結果の見方や改善のご相談も承っています。お問い合わせ