クロールとは

クロールは、検索エンジンのプログラムがページを巡回して読み取る動きです。ここで見つからないと検索対象になりません。

まずこれだけ

リンクをたどって巡回します。リンクがない、拒否設定がある、表示が遅いといった理由で読み取られないことがあります。

クロールの仕組み

クロールとは、検索エンジンのプログラムがインターネット上のページを巡回し、内容を読み取る動きのことです。このプログラムはクローラーと呼ばれ、休みなく動き続けています。

基本の動きは、あるページを読み取り、その中にあるリンクをたどって次のページへ進むというものです。リンクをたどることで、次々に新しいページを見つけていきます。

簡単にいうと

クロールは、リンクをたどってページを読み取りに来る動きです。

見つけてもらう方法

ページを見つけてもらう経路は、大きく2つあります。どちらか一方でも機能していれば、認識されます。

  • 他のページからのリンクをたどって見つけてもらう
  • サイトマップで、ページの一覧を伝える

どこからもリンクされておらず、サイトマップにも含まれていないページは、見つけてもらえません。公開しただけでは不十分です。

サイト内のリンク構成

クロールはリンクをたどるため、サイト内のリンク構成が重要になります。トップページから数回たどれば、すべてのページに到達できる構成が理想です。

階層が深すぎる、一覧からしかたどれない、といった構成では、奥のページが後回しになります。

一覧のページは、次のページへのリンクが正しく機能しているかを確認します。ここが途切れると、古い記事に到達できません。

クロールの頻度

すべてのページが同じ頻度で読み取られるわけではありません。更新が多いサイト、重要と判断されたページほど、頻繁に訪れます。

更新が止まっているサイトでは、間隔が長くなります。内容を変更しても、反映まで時間がかかります。

頻度を直接指定することはできません。定期的に更新することで、結果として頻度が上がります。

読み取られない原因

クロールされない場合、いくつかの原因が考えられます。

拒否の設定がされている、アクセス制限がかかっている、エラーが返っている、表示が極端に遅い、といった理由です。設定ファイルで特定の範囲を拒否している場合もあります。

意図せず拒否の設定が残っていることがあります。制作中に設定したまま、公開後も解除されていないケースです。

サーバーへの負荷

クロールはサーバーにアクセスするため、負荷がかかります。ページ数が多いサイトでは、その影響が出ることがあります。

表示が遅いと、読み取れる量が減ります。結果として、すべてのページを読み取るのに時間がかかります。

表示を速くすることは、クロールの面でも意味があります。同じ時間でより多くのページを読み取ってもらえます。

状況を確認する

どのページが読み取られているかは、検索エンジンが提供する管理ツールで確認できます。いつ読み取られたか、エラーがなかったかが分かります。

読み取られていないページがあれば、原因を調べます。リンクがない、拒否の設定がある、といった理由が分かります。

サーバーのアクセスログでも、クローラーの訪問を確認できます。

早く読み取ってもらう

新しいページを早く認識してもらいたい場合、管理ツールから個別に申請できます。通常より早く読み取られます。

ただし、申請しても必ず登録されるわけではありません。内容が評価されなければ、読み取られても登録されないことがあります。

サイトマップを最新の状態に保つことも有効です。新しいページが自動的に追加される設定にしておきます。

不要なページを読ませない

すべてのページを読み取らせる必要はありません。検索結果に出す必要のないページは、対象から外せます。

管理用のページ、重複した内容のページ、絞り込みの結果ページなどが該当します。これらを外すと、重要なページに処理が回ります。

ただし、誤って必要なページを外すと、検索結果から消えます。設定の内容は慎重に確認します。

まとめ

クロールはリンクをたどってページを読み取る動きです。リンク構成とサイトマップで見つけてもらい、拒否の設定や表示の遅さで妨げていないかを確認します。