SEO対策を行っていると、「クローラー（crawler）」や「クロール（crawl）」という言葉に必ず遭遇すると思います。
SEO （Search Engine Optimization）対策とは簡単に言えば、自社サイトを検索ユーザーのニーズに応えるページに最適化することで、特定のキーワードの検索結果をより上位に表示するために行うマーケティング施策のことを指します。
この時、検索順位を決める要素を収集するために巡回しているのが「クローラー」です。
つまりクローラーに定期的に巡回してもらい、正しく自社サイトの情報を収集してくれるように対策しておくことが、SEO対策にとって重要な施策の一つとなるのです。
・自社サイトはどんな検索市場を狙えるのか？
・狙っている市場で上位表示されるのか？
・競合はどんな対策をしているのか？
・大手ポータルサイトが相手では諦めるしかないのか？
このような疑問や興味をお持ちの方は、お問い合わせください！
当社が一緒に考えていきます
目次
クローラー（crawler）とは
クローラーは検索順位を決めるために、Webサイトのテキストや画像などの情報収集を行っている巡回プログラムのことです。
この巡回プログラムのことを、「ロボット」「ボット（Bot）」「クローラー」「スパイダー」などと呼びます。
クローラー（crawler）の語源は、「這う・這い回る」を意味する英単語「crawl」が元です。
また私達が普段使っているワールドワイドウェブ（World Wide Web＝WWW）の由来が「世界中に広がるクモの巣」であるため、Web上のあらゆるところを這うクローラーは、別名スパイダーと呼ばれることもあります。
クローラーは検索エンジンの仕組み（プログラム）の一部なので、検索エンジンごとに存在します。
GoogleならばGooglebot、Bing（Microsoft）ならばBingbot、AppleならばApplebot、中国の検索エンジンBaiduであればBaiduspiderなどです。
ただしGoogleが検索エンジンの世界シェアトップであり、日本でのシェアも80％に上ります。
Yahoo! もGoogleの検索エンジンを使用しているため、クローラー対策と言えばほとんどGooglebot向けであると言えるでしょう。
クローラーの機能とは
検索エンジン上に、検索結果が表示されるまでの仕組みは以下の通りです。
- Web上で収集したサイト情報を、検索エンジン上のデータベースに登録（インデックス化）
- データベース化した情報に評価付けする
- 評価付けしたページを検索順位として検索エンジン上に表示
このうちの
- Web上で収集したサイト情報をデータベースに登録（インデックス化）」
の役割を受け持つのがクローラーです。
クローラーは、既にデータベース化されているWebサイトからリンクをたどって自動的に移動（クローリング）します。
移動先ではページの解析（パーシング）を行って、そのページの情報を処理します。処理したページ情報を検索アルゴリズムが扱いやすいデータに変換してデータベースに登録します。
既にインデックス化されているWebサイトからリンクをたどることで、クローリング（自動的に移動）を行い、リンク先ではページを解析（パーシング）し、そのページ情報を収集します。
収集したページ情報は、検索アルゴリズムの扱いやすいデータとして変換し、インデックス化します。
クローラーがパーシングし情報収集する対象は、下記の通りです。
- HTML
- テキスト
- CSS
- JavaScript
- 画像
クローラーは、「Web上で収集したサイト情報をデータベースに登録（インデックス化）」のフローを、繰り返し行うようプログラム化されています。
このようにWebサイトが、検索結果画面に表示されるためには、クローラーに巡回してもらうことで初めて実現されるのです。
つまりクローラーに巡回されないWebサイトは、検索エンジンに表示されないということです。
検索エンジンに表示されないと、いくらSEO対策に時間とコストを掛けても意味がないのです。
・自社サイトはどんな検索市場を狙えるのか？
・狙っている市場で上位表示されるのか？
・競合はどんな対策をしているのか？
・大手ポータルサイトが相手では諦めるしかないのか？
このような疑問や興味をお持ちの方は、お問い合わせください！
当社が一緒に考えていきます
