目次
クローラビリティとは？
クローラビリティという言葉を説明するには、クローラーについて理解する必要があります。
クローラーはGoogleをはじめとする検索エンジンが、Webページの情報を収集する際に使用しているロボットです。
クローラーは検索エンジンのプログラムの1つであり、情報をクロール（収集）し、クローリング（巡回）する役割を担います。
クローリングした情報を検索エンジンに登録することをインデックスといい、インデックスが正常に行われることで、検査結果に表示される仕組みです。
つまり、クローラーが頻繁にWebページを巡回する仕組みづくりをクローラビリティといい、いち早く検索結果に表示されるようになるとクローラビリティが向上していると言えます。
クローラビリティを向上させるメリット
クローラビリティの向上は、Webサイトを検索結果に表示させる上で欠かせない作業の1つです。
クローラビリティを向上させた場合、具体的にどのようなメリットがあるのか紹介します。
- クローラビリティの向上は検索エンジンの上位表示につながる
- クローラビリティを向上させるとユーザビリティが向上する
ここでは、上記の2点について詳しく解説します。
クローラビリティの向上は検索結果の上位表示につながる
クローラビリティの向上は、検索結果の上位表示につながります。
クローラーが頻繁に巡回をするWebサイトは、常に最新の状態にインデックスされているため、検索ユーザーに対し鮮度のある情報を提供できます。
また、クローラーが頻繁に訪れるサイトは、検索エンジンから質の高いサイトであるという認識をされることが多く、検索結果が上位になりやすいです。
つまり、クローラビリティが向上していると、検索エンジンからの評価が上がり、検索結果の上位表示につながりやすいと言えるでしょう。
クローラビリティを向上させるとユーザビリティが向上する
クローラビリティの向上を図った場合、結果としてユーザビリティも向上します。
ユーザビリティとは、いかに検索ユーザーの利便性に寄り添えているかの度合いを表す言葉です。
クローラビリティが高いサイトは、検索ユーザーにとっても利便性の高いサイトになっているケースが多く、ユーザーの支持を得られやすい傾向にあります。
ユーザーに気に入られたサイトは、滞在時間や再訪問の回数が増え、結果としてアクセス数が伸びます。
Googleなどの検索エンジンは、ユーザビリティの高いサイトを検索上位にする傾向があるため、クローラビリティとユーザビリティは深い関係にあると言えるでしょう。
クローラーが取得するファイルの種類
クローラーはWebサイトにあるすべてのファイルの情報を読み込むわけではありません。
ここでは、Googleのクローラーが取得するファイルの種類について紹介します。
- HTML
- 画像（png/jpeg/gif/svg/webp）
- 音声（mp3/mp4/mpeg/wmaなど）
- 動画（mp4/mpegなど）
- CSS
- Java Script
- 地理データ
- xmlファイル
- JSON
- シンジケーション
クローラーが情報を収集するファイルを把握し、きちんと対策を打つことでクローラビリティの向上を目指しましょう。
クローラビリティを向上させる方法
クローラビリティを向上させるにはいくつかのポイントがあります。
ここでは、クローラビリティを向上させるために押さえておきたい以下のポイントを紹介します。
- 重複しているURLを統合する
- URLの階層をシンプルにする
- パンくずリストを設定する
- 質の高いWebページを作成する
- 質の高い内部リンクを設置する
- 被リンクの数を増やす
- クローラーをブロックするページを設定する
- HTTPステータスコードを返す
- ファイルサイズを軽減する
- Googleサーチコンソールにリクエストする
- xmlサイトマップを更新する
- サーバーが適しているか確認する
クローラビリティを向上させたいと考えている方は、上記の項目がきちんと押さえられているか確認してみましょう。
それぞれのポイントについては、以下で細かく解説します。
重複しているURLを統合する
クローラビリティを向上させる方法の1つとして、重複URLの統合が挙げられます。
重複URLとは、1つのWebページに複数のURLでアクセスできたり、コンテンツの内容が酷似しているURLを指します。
Googleは重複ページを嫌う傾向にあり、クローリングの頻度が下がる恐れがあるため注意が必要です。
重複URLを1つに統合し、「正規URL」のみ残すことでクローラビリティの向上を目指しましょう。
URLの階層をシンプルにする
URLの階層をシンプルにすることで、クローラビリティ向上が可能です。
Googleは階層の浅い順にクロールすると傾向があるため、複雑な階層を作ると巡回もれが発生する恐れがあります。
URLの階層をシンプルにし、クローラーが巡回しやすい仕組みづくりを心がけましょう。
パンくずリストを設定する
パンくずリストとは、ユーザーが現在Webサイトのどこのページを見ているか一目で分かるようになっている仕組みのことです。
パンくずリストの名前の由来は、童話「ヘンゼルとグレーテル」から来ていると言われています。
パンくずリストはWebページの上部に設置されていることが多く、クローラーが巡回しやすいだけでなく、検索ユーザーがWebサイトを徘徊する際にも分かりやすいメリットがあります。
つまり、パンくずリストはクローラビリティだけでなくユーザビリティの向上にもつながるため、検索上位を目指す場合には必ず設置しましょう。
実際にパンくずリストを作る際に気を付けたい注意点は、以下になります。
- パンくずリストの階層はシンプルにする
- ページの上部または下部など、分かりやすい位置に設置する
- SEO対策のキーワードを含める
- スマートフォン対応の仕様にする
- パンくずリストに構造化データを使用する
パンくずリストの構造化データとは、パンくずリストをGoogleクローラーが認識できるように形式を変えたデータを指します。
構造化データをWebサイトに設置することで、検索結果にパンくずリストが表示されるようになり、クローラビリティだけでなくユーザビリティも向上するでしょう。
質の高いWebページを作成する
検索ユーザーは、必要な情報を得るために検索エンジンを利用し、Webサイトへ訪問します。
検索ユーザーの満足度が高い場合、アクセス数が増え、結果としてクローラーの巡回頻度が上がる仕組みです。
SEOキーワードを盛り込み、情報を網羅することでユーザーの検索意図に沿った質の高いページを増やすことを心がけましょう。
質の高い内部リンクを設置する
質の高い内部リンクとは、リンク元のWebページに対して関連性・専門性が高いものを指します。
質の高い内部リンクは、Googleの検索上位表示の評価基準の1つでもあるユーザビリティの面で高く評価されるため、関連性がある記事にはリンクを張るようにしましょう。
被リンクの数を増やす
外部サイトからの被リンクの数が増えることで、クローラーの巡回頻度が上がり、クローラビリティが向上します。
Googleではサイトの被リンク数が多いほど人気のWebページと判断されるため、結果としてSEO対策となり検索順位も上がるでしょう。
クローラーをブロックするページを設定する
クローラビリティを向上させる場合、クローラーをブロックするページを設定することでクロール速度が上がります。
クローラーをブロックするべきページとして、以下が挙げられます。
- 問い合わせページ
- テスト段階のページ
- 会員限定のページ
これらのページは特定のユーザー以外には必要のないページのため、クローラーをブロックすることをおすすめします。
また、クローラーをブロックする場合、クローリングをブロックするメタタグ「noindex」を記述しましょう。
HTTPステータスコードを返す
クローラビリティの向上を目指す場合、クローラーに対して正しいステータスコードを返すことが重要です。
HTTPステータスコードとは、クローラーにWebサイトの情報を収集する際に必要な3桁のコードを指します。
HTTPステータスコードの中でも特に気を付けたいのが「ソフト404エラー」です。
「ソフト404エラー」とはコンテンツが存在していないページであるにもかかわらず、正常なページを表す200のデータコードを返してしまうエラーを指します。
HTTPコードが正しく表示されていない場合、クローラーが無駄なクロールを行い、本来巡回したいページに辿り着かない恐れがあるため注意が必要です。
クローラーは正しい情報が収集できない場合、質の低いWebページとして判断してしまうため、Googleに対して正しいHTTPステータスコードを返すことでクローラビリティの低下を阻止しましょう。
ファイルサイズを軽減する
クローラーが巡回する際に、ファイルサイズを軽減することで巡回速度が上昇し、多くのWebページの情報収集が可能になります。
ファイルサイズが重い場合、クロールのリソースが増えるため、クローリングに時間がかかり、本来巡回して欲しいページまで辿り着かない恐れがあるため注意が必要です。
クローラーのスムーズなサイト巡回を手助けするためにも、ファイルサイズを軽減することをおすすめします。
GoogleサーチコンソールにURL検査のリクエストする
GoogleサーチコンソールにURL検査のリクエストを依頼すると、クローラーにサイト巡回を促すことが可能です。
URL検査のリクエスト方法は、Googleサーチコンソールにログイン後、「メニュー」→「URL検査」を選択します。
サイト上部の検索窓に、対象URLを入力し、「インデックス登録をリクエスト」を選択すると完了です。
新しい記事を公開したり、記事を更新したりするタイミングでURL検査を実施すると、インデックスするまでの期間を早めることができるでしょう。
xmlサイトマップを更新する
xmlサイトマップとは、クローラビリティ向上施策において最も有効と言われている手段の1つです。
クローラーに対しサイトの地図を渡すことで、クローラーに早く情報収集をしてもらえるメリットがあります。
xmlサイトマップを作成したほうがよいとされるWebサイトには、以下が挙げられます。
- 画像や動画をたくさん投稿している
- ページ数が500を超える
- サイト内リンクを張れていない
- 被リンクが少ない
xmlサイトマップを作成し、クローラーが巡回しやすい状態にしておくことで、もれなく情報を収集してもらうことが可能です。
サーバーが適しているか確認する
現在使用しているサーバースペックが正しいかどうか確認し、サイトへの負荷が多い場合はスペックを上げることをおすすめします。
負荷が多い場合、クロール速度の上限が下がりクローリングが減るため注意が必要です。
適しているサーバースペックに変更することで、サーバー処理を向上させクローラーが巡回しやすい環境を整えましょう。
クローラーがサイトを訪問しているか確認する方法
クローラビリティの向上を目指す場合、クローラーがサイトを訪問しているか確認し、適宜修正することが大切です。
ここではクローラーがサイトを訪問しているかを確認する2つの方法を解説します。
- 「site:」で検索する
- Googleサーチコンソールで確認する
ここでは2つの確認方法について、詳しく紹介します。
「site:」で検索する
クローラーがサイトを訪問しているか確認する場合、Googleの検索窓に「site:」と調べたいURLを入力し、検索しましょう。
すると、過去にクローラーが巡回したサイトが表示されるため、検索結果にサイトが表示されていればインデックスが完了しています。
また、インデックスされてから検索結果に表示されるまでには時間がかかるため、数週間期間を置いてから確認するとよいでしょう。
Googleサーチコンソールで確認する
Googleサーチコンソールでは、サイトがクロールされているかの確認ができます。
クローラー訪問の確認方法は、サーチコンソールにログインし、「設定」→「クロール」→「レポートを開く」を選択します。
するとクロールリクエストの合計数が表示され、細かい情報が確認可能です。
また、Googleサーチコンソールは無料で使用できるため、クローラビリティの向上のためにも積極的に活用しましょう。
クローラーに好かれるサイトの傾向を把握しクローラビリティを向上させよう
Webサイトの上位表示を目指す場合、クローラビリティの向上に取り組むことをおすすめします。
クローラビリティを向上させるためにはいくつかのポイントがあり、ポイントを押さえた上で取り組みましょう。
また、クローラビリティ向上に向けての取り組みを実施した後は、必ずクローラーがサイトを訪問しているかを確認し、繰り返しサイトの質を上げることが重要です。
クローラビリティを向上させることで、ユーザビリティも向上するため、結果として検索順位が上昇するでしょう。
