検索公開まわりの確認方法(robots.txt・X-Robots-Tag・meta robots・canonical・サイトマップ)

要点

代表ページと robots / sitemap / header だけで検索公開の状態を確認する手順。guidepocket.net では確認のみ行い、公開側への変更はしない。

読み取りだけで確認できる。guidepocket.net では現在 noindex を維持するため、確認だけにして公開側へは変更しない(gp-noindex-rule)。

確認項目

項目方法見るところ
robots.txtcurl -s https://<ドメイン>/robots.txt200か、サイト全体の Disallow: / がないか、Sitemap 行
X-Robots-Tagcurl -s -D - -o /dev/null <URL> | grep -i x-robotsヘッダーに noindex がないか(または意図どおりか)
meta robotscurl -s <URL> | grep -i 'name="robots"'index/noindex, follow/nofollow
canonicalcurl -s <URL> | grep -i 'rel="canonical"'1つだけで、自分自身の正しいURLか
サイトマップsitemap_index.xml と子サイトマップすべて200、公開ページと一致、不要URL(下書き・テンプレート・転送URL)がないか
  • 代表ページ: トップ+主要大カテゴリ数件+記事数件で十分。全ページ再監査はしない。
  • サイトマップの反映が遅い場合がある(取り直すと最新記事が入っていた例あり)。

不要ページの候補になりやすいもの(WordPress)

  • 本文が空の固定ページ(制作用「ベース」など)
  • WordPress 初期投稿「Hello world!」と、そのカテゴリ「未分類」
  • フォームプラグイン(SureForms)のフォーム・一覧URL
  • Elementor テンプレート・キット(?elementor_library=…)

扱いは削除ではなく「下書き化」または「サイトマップ除外」。実例は gp-sitemap-cleanup。

guidepocket.net での確認結果(2026-09-25、blog_public=1 だった時点)

robots.txt は /wp-admin/ のみ拒否、X-Robots-Tag なし、代表13URLが index, follow、canonical 正常、サイトマップは固定ページ599件と一致。→ その後 blog_public=0 に戻したため、現在は全ページ noindex, nofollow。