こんにちは。サイトエンジンの浅井です。
「クローラー」という言葉をご存じですか?
クローラーは、インターネット上にあるWebサイトの情報を収集し、データベース化するための巡回プログラムのことです。
データベースにWebサイトが登録されることで、検索エンジンに表示されるようになるため、SEO対策の基本としてクローラーに発見されやすいサイトをつくることが大切です。
本記事ではクローラーの意味や巡回されたかどうかを調べる方法、クローラーに見つけられやすくするための対策について紹介するので、ぜひ自社のSEO対策の参考にしてください。
クローラーとは?
クローラーとは、インターネット上にあるWebサイトや画像・動画などのコンテンツの情報を集め、検索データベースにためていく巡回プログラムのことです。Web上を這う(クロール)ように巡回することからその名がつけられました。別名、「検索ロボット」や「サーチボット」とも呼ばれ、検索サイトを提供するGoogleやBingなどが運営しています。
Webサイトが検索エンジンに表示されるためにはクローラーにサイトを認識してもらいデータベース上に登録されなければなりません。
SEO対策において、まず重要なのは検索エンジンに表示されるようになることです。
クローラーの種類
主なクローラーの種類は、以下の通りです。
- Googlebot:Google検索
- Bingbot:Bing検索(マイクロソフトが運営するクローラー)
- Yahoo Slurp:Yahoo検索(海外のYahooのクローラー)
- Baiduspider:Baidu検索(中国の検索エンジン)
- YandexBot:YANDEX検索(ロシアの検索エンジン)
国内において、9割以上のシェアを占めているのがGooglebotです。日本のYahooはGooglebotを採用しています。
クローラーがサイトを巡回したかを確認する方法
クローラーがサイトを巡回したか確認するには主に2つの方法があります。
1.「site:」検索
Googleで、検索窓に「site:ドメイン名」を入力して検索することで、調べたドメインの巡回されたページの一覧を調べることができます。
2.Googleサーチコンソールでの確認
まずはGoogleサーチコンソールにログインします。左メニューの「設定」を押し、出てきたページの「レポートを開く」をクリックします。そうすれば「クロールの統計情報」から巡回の状況を調べることができます。
クローラビリティを高める方法
クローラーに見つけられやすくすることを、「クローラビリティを高める」といいます。
高めるためには、以下の対策を行うのがおすすめです。
- ページの読み込み速度を高める。
- リンクは画像ではなくテキストで設定する。
- WebサイトはTOPから2クリックで全部のWebページにたどり着ける、3段階構造にする。
- URLが複数あるページは1つのURLに統一する。
- Googleサーチコンソールからクロールをリクエストする。
まとめ
クローラーを意識してサイトをつくることで、検索エンジンに表示されやすくなります。本記事で解説した対策を参考に、自社のクローラビリティを高め、SEOに強いサイトを構築しましょう。