こんにちは。サイトエンジンの浅井です。

「クローラー」という言葉をご存じですか？
クローラーは、インターネット上にあるWebサイトの情報を収集し、データベース化するための巡回プログラムのことです。
データベースにWebサイトが登録されることで、検索エンジンに表示されるようになるため、SEO対策の基本としてクローラーに発見されやすいサイトをつくることが大切です。

本記事ではクローラーの意味や巡回されたかどうかを調べる方法、クローラーに見つけられやすくするための対策について紹介するので、ぜひ自社のSEO対策の参考にしてください。

クローラーとは？

クローラーとは、インターネット上にあるWebサイトや画像・動画などのコンテンツの情報を集め、検索データベースにためていく巡回プログラムのことです。Web上を這う（クロール）ように巡回することからその名がつけられました。別名、「検索ロボット」や「サーチボット」とも呼ばれ、検索サイトを提供するGoogleやBingなどが運営しています。

Webサイトが検索エンジンに表示されるためにはクローラーにサイトを認識してもらいデータベース上に登録されなければなりません。
SEO対策において、まず重要なのは検索エンジンに表示されるようになることです。

クローラーの種類

主なクローラーの種類は、以下の通りです。

• Googlebot：Google検索
• Bingbot：Bing検索（マイクロソフトが運営するクローラー）
• Yahoo Slurp：Yahoo検索（海外のYahooのクローラー）
• Baiduspider：Baidu検索（中国の検索エンジン）
• YandexBot：YANDEX検索（ロシアの検索エンジン）

国内において、9割以上のシェアを占めているのがGooglebotです。日本のYahooはGooglebotを採用しています。

クローラーがサイトを巡回したかを確認する方法

クローラーがサイトを巡回したか確認するには主に2つの方法があります。

1.「site:」検索

Googleで、検索窓に「site:ドメイン名」を入力して検索することで、調べたドメインの巡回されたページの一覧を調べることができます。

2.Googleサーチコンソールでの確認

まずはGoogleサーチコンソールにログインします。左メニューの「設定」を押し、出てきたページの「レポートを開く」をクリックします。そうすれば「クロールの統計情報」から巡回の状況を調べることができます。

クローラビリティを高める方法

クローラーに見つけられやすくすることを、「クローラビリティを高める」といいます。
高めるためには、以下の対策を行うのがおすすめです。

• ページの読み込み速度を高める。
• リンクは画像ではなくテキストで設定する。
• WebサイトはTOPから2クリックで全部のWebページにたどり着ける、3段階構造にする。
• URLが複数あるページは1つのURLに統一する。
• Googleサーチコンソールからクロールをリクエストする。

まとめ

クローラーを意識してサイトをつくることで、検索エンジンに表示されやすくなります。本記事で解説した対策を参考に、自社のクローラビリティを高め、SEOに強いサイトを構築しましょう。