robots.txtとは

robots.txtは、クローラーに対してどこを読み取ってよいかを伝えるファイルです。設定を誤ると検索結果から消えます。

まずこれだけ

読み取りを制御するもので、検索結果への表示を止めるものではありません。目的に応じてnoindexと使い分けます。

robots.txtの役割

robots.txtは、サイトの入り口に置く小さなテキストファイルです。クローラーがサイトを訪れたときに最初に読み、どの範囲を読み取ってよいかを判断します。特定のフォルダを対象から外したり、サイトマップの場所を伝えたりする用途で使われます。

注意したいのは、これが読み取りの制御であって、検索結果への表示を止めるものではない点です。読み取りを拒否しても、外部からのリンクがあれば検索結果に表示されることがあります。表示を止めたい場合は、別の方法を使います。

簡単にいうと

読み取りを止めるファイルであって、検索結果から消すファイルではありません。

どこに置くか

ファイルはサイトの最上位に置きます。ドメインの直下に配置する決まりで、別の場所に置いても認識されません。アドレスの末尾にファイル名を付けて開くと、内容を確認できます。

WordPressでは、実際のファイルがなくても自動的に内容が返される仕組みになっています。プラグインで編集できる場合もあります。

サブドメインは別のサイトとして扱われるため、それぞれに用意します。

書き方の基本

記述は単純で、対象とするクローラーと、許可または拒否する範囲を書きます。すべてのクローラーを対象にする指定と、特定の範囲を拒否する指定が基本になります。

範囲はフォルダ単位でもファイル単位でも指定できます。複数行を書けば、それぞれが適用されます。

サイトマップの場所を記載する行も追加できます。管理ツールへの送信と併用して構いません。

使う場面

小規模なサイトでは、特に設定しなくても問題ありません。設定が必要になるのは、次のような場合です。

  • 読み取る必要のない大量のページがある
  • 絞り込みや並べ替えの結果ページが大量に生成される
  • サーバーへの負荷を抑えたい
  • 管理用のフォルダを対象から外したい

いずれも、読み取りの効率を上げる目的です。表示を止めたい場合の手段ではありません。

設定を誤ると危険

もっとも多い事故は、サイト全体の読み取りを拒否する記述を残してしまうことです。制作中に設定し、公開時に解除を忘れるケースがあります。

この状態では、どれだけ内容を充実させても検索結果に表示されません。しかも、外から見ても気づきにくいため、数か月放置されることがあります。

公開時の確認項目に含め、実際にファイルの内容を開いて確認します。

noindexとの違い

robots.txtは読み取りを止め、noindexは登録を止めます。目的が違うため、使い分けが必要です。

検索結果に表示させたくない場合は、noindexを使います。読み取りを拒否すると、noindexの指定自体が読まれず、かえって表示が残ることがあります。

この2つを同時に使うと、意図した動作になりません。表示を止めたいなら、読み取りは許可したうえでnoindexを指定します。

守られない場合もある

robots.txtの内容は、あくまで要請です。主要な検索エンジンは従いますが、すべてのプログラムが守るわけではありません。

そのため、見られては困る情報の保護には使えません。ファイルの場所を書くことで、かえって存在を知らせることにもなります。

保護が必要な場合は、アクセス制限やパスワードによる保護を使います。

確認する方法

ブラウザでアドレスを開けば、現在の内容を確認できます。想定と違う記述があれば、修正します。

管理ツールには、記述の内容を確認する機能が用意されていることがあります。特定のアドレスが読み取れる状態かを調べられます。

変更したら、必ず内容を開いて確認します。プラグインの設定が反映されていないこともあります。

基本はそのままでよい

小規模なサイトでは、初期状態のままで問題ありません。無理に設定を加えると、事故の原因になります。

設定を変更する場合は、何のために変更するかを明確にします。目的が説明できない設定は、追加しないほうが安全です。

変更した内容と理由は記録します。後から見たときに、意図が分かる状態にしておきます。

まとめ

robots.txtは読み取りを制御するファイルで、表示を止めるものではありません。全体を拒否する記述が残っていないかを公開時に確認します。