検索公開まわりの確認方法(robots.txt・X-Robots-Tag・meta robots・canonical・サイトマップ)
要点
代表ページと robots / sitemap / header だけで検索公開の状態を確認する手順。guidepocket.net では確認のみ行い、公開側への変更はしない。
読み取りだけで確認できる。guidepocket.net では現在 noindex を維持するため、確認だけにして公開側へは変更しない(gp-noindex-rule)。
確認項目
| 項目 | 方法 | 見るところ |
|---|---|---|
| robots.txt | curl -s https://<ドメイン>/robots.txt | 200か、サイト全体の Disallow: / がないか、Sitemap 行 |
| X-Robots-Tag | curl -s -D - -o /dev/null <URL> | grep -i x-robots | ヘッダーに noindex がないか(または意図どおりか) |
| meta robots | curl -s <URL> | grep -i 'name="robots"' | index/noindex, follow/nofollow |
| canonical | curl -s <URL> | grep -i 'rel="canonical"' | 1つだけで、自分自身の正しいURLか |
| サイトマップ | sitemap_index.xml と子サイトマップ | すべて200、公開ページと一致、不要URL(下書き・テンプレート・転送URL)がないか |
- 代表ページ: トップ+主要大カテゴリ数件+記事数件で十分。全ページ再監査はしない。
- サイトマップの反映が遅い場合がある(取り直すと最新記事が入っていた例あり)。
不要ページの候補になりやすいもの(WordPress)
- 本文が空の固定ページ(制作用「ベース」など)
- WordPress 初期投稿「Hello world!」と、そのカテゴリ「未分類」
- フォームプラグイン(SureForms)のフォーム・一覧URL
- Elementor テンプレート・キット(
?elementor_library=…)
扱いは削除ではなく「下書き化」または「サイトマップ除外」。実例は gp-sitemap-cleanup。
guidepocket.net での確認結果(2026-09-25、blog_public=1 だった時点)
robots.txt は /wp-admin/ のみ拒否、X-Robots-Tag なし、代表13URLが index, follow、canonical 正常、サイトマップは固定ページ599件と一致。→ その後 blog_public=0 に戻したため、現在は全ページ noindex, nofollow。