SEOで警戒すべきクローキングとは？スパム扱いされる理由と手法を紹介

クローキングとは、検索エンジンとユーザー向けに異なるコンテンツを表示するブラックハットSEOの手法です。このページではクローキングの使用例と、問題点、クローキングの手法、意図せず行なってしまうクローキングについて紹介します。

クローキングとは？

クローキングは現在では推奨されていないブラックハットSEOの1つです。WEBサイトに細工を施し、検索エンジンとユーザー向けにそれぞれ異なるコンテンツを表示することで、不正に検索エンジンからの評価を高めようとします。

具体的には、SEO.comというページがあった時にユーザーが閲覧する時には、コンテンツAが表示される一方、検索エンジンのクローラーが同一のページを訪問する際には、コンテンツBが表示されるということです。

クローキングの使用例

クローキングはユーザーと検索エンジンにそれぞれ異なるコンテンツを表示させることでした。どのようなサイトでクローキング行われていたのかを解説していきます。

違法なアダルトサイト

違法なアダルトサイトではクローキングが利用されることが多いです。検索エンジンを通して訪問するユーザーに対しては動画の掲載されたアダルトサイトを表示し、クローラーが訪問してきた場合には、合法な動画サイトを表示します。そうすることで違法のアダルトコンテンツに対するペナルティーを避けながら、ユーザーを集めることが可能です。

Flashなどを多用したサイト

ユーザーはFlashなどを利用した派手で、ユーザーの目を引くサイトを好みます。そのためページに訪問したユーザーから評価されるサイトを作成するためには、Flashを利用するのが有効ですが、検索エンジンはFlashを嫌います。

検索エンジンは検索キーワードの出現率が高くなりやすいテキストが中心で、HTML構造がシンプルなページを好むものです。そのためFlashを利用したページは検索エンジンに低く評価され、上位表示できません。

そこでクローキングを利用して、ユーザーにはFlashを利用したページを表示し、検索エンジンにはFlashを利用していないページを表示するサイトが多くありました。

なぜクローキングが問題なのか

アダルトサイトのクローキングが悪質なもので問題なのは当然ですが、その他のクローキングも「Google のユーザーが予想した結果と異なる結果をユーザーに提供するものである」ため問題です。

なおここでいうクローキングとは具体的には以下を指します。

• 検索エンジンには HTML テキストのページを表示し、人間のユーザーには画像や Flash のページを表示する。
• ページをリクエストした User-agent が人間のユーザーではなく検索エンジンである場合にのみ、ページにテキストやキーワードを挿入する。

行なった場合のペナルティー

クローキングはGoogleのウェブマスター向けガイドラインへの違反とみなされ、手動ペナルティーを受けるため注意が必要です。

手動ペナルティーでは、該当ページのみならず、該当ページを含むサイト全体のインデックスが削除され検索結果に表示されなくなることが多くあります。

また手動ペナルティーを受けると、サイトを改善してGoogleの再審査を受けて、審査が通るまで、基本的にペナルティーが解除されることはありません。

クローキングと判断されない例外

クローキングはユーザーと検索エンジン向けの表示コンテンツを変更することでしたが、ユーザービリティーの向上を目的とするコンテンツ表示の変更はクローキングとは判断されません。

たとえばPC向けサイトを別に作成したり、アクセスしてきた人の所在地によってコンテンツを変更する、時間帯によって表示するコンテンツを調整するというような、表示コンテンツの変更であれば、問題ありません。

スマートフォン向けサイトの場合

Googleのモバイルファーストインデックス化など、スマートフォンユーザー向けのSEO対策はより重要性を増しています。その影響でPC向けページとスマートフォン向けページを別々に作成し、User-Agentを使って振り分ける設定にしているサイトは多いです。その場合、ページの内容が同じであればクローキングに該当しませんが、内容が異なる場合、誤った設定によりクローキングと判断されることがあるため注意が必要していただくことをおすすめします。

クローキングの手法

誤ってクローキングを行わないためには、どのような手法のクローキングがあるのかを理解することが重要です。ここでは以下の2つの代表的なクローキングの手法を紹介します。

• IPアドレス・ユーザーエージェントを利用したクローキング
• 画像やFLASHを用いたクローキング
• 【中見出し3-1】

IPアドレス・ユーザーエージェントを利用したクローキング

IPアドレスやユーザーエージェント（ページへのアクセス時に提供される、ユーザー情報のこと）利用した手法は最も一般的なクローキング手法です。

アクセス時にIPアドレスやユーザーエージェントを利用した、アクセスしているのが人間（ユーザー）かGoogleのクローラーかを判断し、異なるコンテンツを表示します。

画像やFLASHを用いたクローキング

サイトにアクセスしたGoogleのクローラーにはHTMLを表示し、ユーザーには画像やFLASHを利用したページを表示するという方法です。なおIPアドレスやユーザーエージェントを利用することで、訪れたのが人間かユーザーエージェントかを判断します。

クローキングを利用した対策を行うSEO会社も

現在は少なくなっているようですが、クローキングを利用したSEO対策を行うSEO会社も存在するため注意が必要です。

本来なら検索順位を上げたいページのコンテンツやサイトの構造を改善する必要があり、時間と労力がかかります。

しかしクローキングを利用すれば、ユーザビリティーは考慮せず、検索エンジンだけに対する対策を行えばよいため、手間と労力を省くことが可能です。そのため悪質なSEO会社はクローキングのリスクを理解しつつ、クローキングを行います。

意図しないクローキング行為に注意

ここまでは意図的に行うクローキングについて解説してきましたが、しばしば意図せずにクローキング行為を行なってしまうことがあります。意図していない場合でもクローキング行為を判断されれば、ペナルティーの危険があるため注意しましょう。

デバイスによるページの振り分け

スマートファン向けサイトとPC向けサイトを別々に作成している場合、クローキングと認識される可能性があります。なおGooglebotとGoogle-Mobileにも同様に対応するページを表示させれば、クローキングと判断されることはほとんどありません。

会員制のページ

会員登録後、ログインしないと商品の価格や詳細を確認することができない設定にしているネットショップサイトがあります。しかし特定の商品について検索するユーザーは、価格や商品詳細を知りたがっていることが多いです。そのためページに商品の価格や詳細を記載しないと上位表示を狙うのは難しいです。そこで検索エンジンに対してのみ、そのページ内で商品価格や詳細を表示します。クローキングを行なっているという自覚はなくとも、クローキングと判断される可能性があるため注意しましょう。

クローキングを見分ける方法

ここまでは自分のサイトで行うクローキングについて解説してきました。そこで最後に自分が訪問しようとしたサイトがクローキングを行なっていないか確認する方法を紹介します。

検索エンジンのキャッシュを利用した方法

検索エンジンはクローラーが取得した情報をキャッシュとして保存しているため、リンクをクリックする前にキャッシュをチェックします。

URL右の矢印をクリックして表示されたページと、検索結果に戻って記事タイトルをクリックして表示されたページを比較することで、クローキングを見分けることができます。

ユーザーエージェント名を変更する

ユーザーエージェントを変更できる拡張機能を持ったFirefoxなどのブラウザを利用して、ユーザーエージェント名をGooglebotなどに変更し、JavaScriptとCookieを無効にしてからページを訪問することで、検索エンジン向けに表示されるページを確認することが可能です。ユーザー向けに表示されるページと比較して、違いがあればクローキングが行われている可能性があります。

まとめ

クローキングは検索エンジンとユーザー向けに異なるコンテンツを表示することです。クローキングを行うことで、手動ペナルティーを受けてしまい、サイトが検索結果に表示されなくなってしまう可能性があります。また意図せずとも、デバイスによるページの振り分けや会員制のページによりクローキングを行なってしまう可能性があるため、ページの作成時には注意しましょう。