クローラビリティを改善してSEO効果をたかめよう

クローラビリティーとは、クローラーにとっての、特定のWEBページのインデックスのしやすさを表します。
クローラビリティーが高ければ、ページの公開後にすぐに検索結果に表示されやすく、クローラビリティー が低ければ検索結果に表示されるまでに時間がかかり、SEO効果も低いです。そのためSEO対策において、クローラビリティーを無視することはできません。

そこでこのページでは「クローラビリティーとは何か」「クローラビリティーの改善方法」「自分のサイトのクローリング状況の確認方法」の3つを解説します。

クローラビリティーとは？

クローラビリティーはクローラーにとっての、特定のページのインデックスのしやすさを表します。
クローラーにとって「見つけやすく、正確に内容を認識しやすいページ」はクローラビリティが高く、「見つけにくく、正確に内容を認識しづらいページ」はクローラビリティーが低いということになります。

Googleという検索エンジンの場合、WEBページはGooglebotと呼ばれるクローラーがそのページをクロールしてインデックスすることによって、Googleの検索エンジンに認識され、検索結果に表示されるようになります。
そのためクロールされやすいクローラビリティーの高いサイトでは、WEBページの公開後、すぐに検索結果に表示され、SEO効果を見込めることが多いです。
しかしクロールされにくいクローラビリティーが低いサイトでは、なかなかクロールが行われず、検索結果に表示されず、SEO効果が見込めません。

そのためWEBページやサイトを作成する際には、「そのWEBページ（サイト）は、クローラビリティーが高く、Googlebotにクロールされやすいのか」を意識していただくことをおすすめします。

クローラビリティーを改善するための施策

クローラビリティーを改善するのに役立つ施策をいくつか紹介します。どれも簡単で、すぐにでも行える施策ばかりです。

XMLサイトマップを設置する

最も基本的なクローラビリティーの改善方法は、XMLサイトマップを設置することです。（XMLサイトマップは、ユーザー向けのHTMLサイトマップとは異なり、検索エンジン向けのサイトマップです）

まず「sitemap.xml Editor」のようなサービスを利用してサイトマップを作成します。

その後、作成したXMLサイトマップをサーバーにアップロードし、Search ConsoleからサイトマップをGoogleに向けて送信します。

なおWordPressで構築したサイトであれば、プラグインを利用することでより簡単にXMLサイトマップを設置することができます。

「Google XML Sitemaps」というプラグインであれば、sitemap.xmlの作成から、更新URLの送信まで自動化できるため、非常に便利です。

ただ最初のSearch Console からのGoogleへのXMLサイトマップの送信は「sitemap.xml Editor」でサイトマップを設置する時同様に必要になるため、忘れないようにしましょう。

詳しくは以下のページを参照してください。

リンク階層を意識する

URLの長短はランキングに関係ないとGoogleは宣言しています。
一部サイトで説明されているように、単純にURLを短くするという施策には、SEO効果はありません。
そのため「https://pecopla.net/crawler-optimization」というURLを「https://pecopla.net/crawler」というURLにしてもクローラビリティーは同じです。

しかしリンク階層はクローラビリティーに関係しており、「https://pecopla.net/crawler-optimization」というURLの方が「https://pecopla.net/seo-column/crawler-optimization」というURLよりも、クローラーにとって発見しやすく、クローラビリティーが高いです。

ユーザビリティーの関係から、必ずしも第一階層からのリンクが優れているとはいえませんが、クローラビリティーの改善の観点からは、できるだけ浅い階層からのダイレクトなリンクを意識してサイト設計を行うことをおすすめします。

質の高いページを作成する

ユーザーの検索意図を考慮した質の高いページを作成することもクローラビリティーの向上に役立ちます。
質の高いページを作成することで、検索結果の上位に表示され、多くのアクセスを集めて、結果的に良質な被リンクの多いサイトとなります。

Googlebotのクローラーはリンクを辿ってクロールを行なっているため、被リンクが多い方がクロールの頻度が高いサイトとなり、新規WEBページを公開した際にすぐにクロールされやすいです。

▼関連記事

SNSの運用を行う

公開したばかりの記事はクロールされづらく、インデックスされにくい傾向があります。
そこで検索エンジンでのSEO対策だけでなく、SNSの運用を行いWEBページの公開時にフォロワーにWEBページの公開を伝えて、被リンクを集めるのも有効です。
公開後すぐに被リンクが集まれば、それだけクローラビリティーが上がります。

▼関連記事

重複ページを作らない

意図的にコピーコンテンツを作成したわけではなくとも、意図せず重複コンテンツを作成してしまうことがあります。
しかし重複コンテンツがあると、同じ内容のWEBページをクロールすることになり、その分クロールの無駄が生じてしまい、クローラビリティーが下がってしまいます

▼関連記事

内部リンクの最適化を行う

サイト内のWEBページのクローラビリティーを上げるためには、サイト内の全てのページに対して、クローラーが巡回する経路を増やす必要があります。
そしてクローラーがサイト内を巡回する経路となるのが内部リンクです。

HTMLサイトマップなどを利用しながら、クロールさせたい全てのページに２クリック程度でアクセスできるような内部リンク構造にしましょう。
とりわけトップページのように、人気度と更新頻度が高く、クローラーの巡回頻度の高いページからの内部リンクを貼ると、クロールされやすくなります。

▼関連記事

ソフト404エラーをなくす

存在しないページにアクセスした際に発生するのが、ソフト404エラーです。
ソフト404エラーでは、ユーザーには404エラーページが表示されていても、クローラーには200レベルのコード返すため、クローラーはソフト404エラーのページを正常なページと判断してクロールを行なってしまうことがあります。

404エラーページを正常のページとしてクロールしてしまうと、本来クロールされるべき正常なページがクロールされません。
クローラビリティーを高めるためには、404.htmlを作成しておき、クローラーがエラーページにアクセスしようとした際に、404レベルのコードを返すように設定することをおすすめします。

ファイルのサイズを小さくする

サイトには画像やCSS、 Javascriptなどの様々なファイルが存在します。
それらのファイルを圧縮したり、不要なソースコードを削除することで、ファイルのサイズを小さくします。

サイトに含まれるファイルのサイズが小さくなれば、より軽いサイトとなり、クローラーへの負担を軽減することが可能です。
負担が経験されると、クローラーの余ったリソースを他のWEBページのクロールに分配することができます。

またファイルサイズを小さくして、サイトの表示速度を上げることで、検索上位に表示しやすくなるというSEO効果も期待できます。

クローリング状況の確認方法

クローリング状況を確認する方法を解説します。

site:検索を行う

「site:（ページURL）」で検索を行うことで、ページURLがインデックスされているのかを確認することができます。
WEBページの公開後にsite:検索を行って、インデックスされていないようであれば、URL検査を利用して、インデックスを促進することが可能です。

クロール統計情報を確認する

Search Consoleでは1日にどれくらいのページをクローラーがクロールしたのかを確認することができます。
1日あたりのクロール数が少ない場合、サイトのクローラビリティーが低い可能性が高いです。
上で紹介したクローラビリティーの改善方法を実践することをおすすめします。

まとめ

クローラビリティーを改善することで、インデックスを早めて、SEO効果を高めることができます。
XMLサイトマップを設置したり、重複ページを避けたり、404.htmlという対策はすぐにでも可能なため、試していただくことをおすすめします。