クロールとは
クロールは、検索エンジンのプログラムがページを巡回して読み取る動きです。ここで見つからないと検索対象になりません。
リンクをたどって巡回します。リンクがない、拒否設定がある、表示が遅いといった理由で読み取られないことがあります。
クロールの仕組み
クロールとは、検索エンジンのプログラムがインターネット上のページを巡回し、内容を読み取る動きのことです。このプログラムはクローラーと呼ばれ、休みなく動き続けています。
基本の動きは、あるページを読み取り、その中にあるリンクをたどって次のページへ進むというものです。リンクをたどることで、次々に新しいページを見つけていきます。
クロールは、リンクをたどってページを読み取りに来る動きです。
見つけてもらう方法
ページを見つけてもらう経路は、大きく2つあります。どちらか一方でも機能していれば、認識されます。
- 他のページからのリンクをたどって見つけてもらう
- サイトマップで、ページの一覧を伝える
どこからもリンクされておらず、サイトマップにも含まれていないページは、見つけてもらえません。公開しただけでは不十分です。
サイト内のリンク構成
クロールはリンクをたどるため、サイト内のリンク構成が重要になります。トップページから数回たどれば、すべてのページに到達できる構成が理想です。
階層が深すぎる、一覧からしかたどれない、といった構成では、奥のページが後回しになります。
一覧のページは、次のページへのリンクが正しく機能しているかを確認します。ここが途切れると、古い記事に到達できません。
クロールの頻度
すべてのページが同じ頻度で読み取られるわけではありません。更新が多いサイト、重要と判断されたページほど、頻繁に訪れます。
更新が止まっているサイトでは、間隔が長くなります。内容を変更しても、反映まで時間がかかります。
頻度を直接指定することはできません。定期的に更新することで、結果として頻度が上がります。
読み取られない原因
クロールされない場合、いくつかの原因が考えられます。
拒否の設定がされている、アクセス制限がかかっている、エラーが返っている、表示が極端に遅い、といった理由です。設定ファイルで特定の範囲を拒否している場合もあります。
意図せず拒否の設定が残っていることがあります。制作中に設定したまま、公開後も解除されていないケースです。
サーバーへの負荷
クロールはサーバーにアクセスするため、負荷がかかります。ページ数が多いサイトでは、その影響が出ることがあります。
表示が遅いと、読み取れる量が減ります。結果として、すべてのページを読み取るのに時間がかかります。
表示を速くすることは、クロールの面でも意味があります。同じ時間でより多くのページを読み取ってもらえます。
状況を確認する
どのページが読み取られているかは、検索エンジンが提供する管理ツールで確認できます。いつ読み取られたか、エラーがなかったかが分かります。
読み取られていないページがあれば、原因を調べます。リンクがない、拒否の設定がある、といった理由が分かります。
サーバーのアクセスログでも、クローラーの訪問を確認できます。
早く読み取ってもらう
新しいページを早く認識してもらいたい場合、管理ツールから個別に申請できます。通常より早く読み取られます。
ただし、申請しても必ず登録されるわけではありません。内容が評価されなければ、読み取られても登録されないことがあります。
サイトマップを最新の状態に保つことも有効です。新しいページが自動的に追加される設定にしておきます。
不要なページを読ませない
すべてのページを読み取らせる必要はありません。検索結果に出す必要のないページは、対象から外せます。
管理用のページ、重複した内容のページ、絞り込みの結果ページなどが該当します。これらを外すと、重要なページに処理が回ります。
ただし、誤って必要なページを外すと、検索結果から消えます。設定の内容は慎重に確認します。
まとめ
クロールはリンクをたどってページを読み取る動きです。リンク構成とサイトマップで見つけてもらい、拒否の設定や表示の遅さで妨げていないかを確認します。