Googleのユーザーエージェントが新しくなります

2019年の12月より、Googleのユーザーエージェントが新しくなり文字列が変更されます。
ほとんどの一般的なサイトは、ユーザーエージェントが新しくなることによる影響は受けませんが、これまでユーザーエージェントの文字列を指定してGooglebotを対象に特別なシステムを構築し利用してきたサイトには、対策が必要になります。

そこでこのページではユーザーエージェントとは何かを改めて簡単に紹介したうえで、スマートフォン用Googlebotとパソコン用Googlebotそれぞれのユーザーエージェントの文字列の変更内容を解説します。

ほとんどのサイトには影響がないとはいえ、SEO対策を行なっている方であれば知っておきたい内容のため、参考にしてください。

Googleのユーザーエージェントが2019年12月に変更

Googleのユーザーエージェントの文字列が2019年の12月に変更されました。
すでに変更されているため、対応済みの方もいらっしゃるとは思いますが、まだ確認できていない方は、確認していただくことをおすすめします。

そもそもユーザーエージェントとは？

ユーザーエージェントは、サイトにアクセスした時に伝える自分自身の情報のことです。
ユーザーエージェントには利用しているOSやブラウザ、端末情報などを含みます。

ユーザーエージェントの主な役割は「ユーザーの環境に適したページを表示すること」です。
たとえばサイトへのアクセス時に、ユーザーエージェントからそのユーザーがスマートフォンを利用しているということがわかれば、スマートフォン用サイトを表示し、パソコンを利用しているとわかれば、パソコン用サイトを表示します。

なお他にもユーザーエージェントを利用することで、特定のブラウザからのアクセスをブロックすることも可能です。

クローラーにもユーザーエージェントが存在する

サイトにアクセスしてくるのは一般ユーザーだけではありません。

Googlebotがサイトにアクセスすることがありますが、Googlebotにもユーザーエージェントが存在します。
そしてユーザーエージェントを利用して、特定のブラウザからのアクセスをブロックすることができたように、クローラーの１つ１つに設定されたユーザーエージェントを指定することで、特定のクローラーのサイトへのアクセスをブロックすることが可能です。

例えば、Googleのクローラーからのアクセスは許可するけど、その他の検索エンジンのクローラーからのアクセスは拒否する。といった形でユーザーエージェントを使うことが可能です。

このような処理を行なっている場合には、Googleのユーザーエージェントが新しくなり、Googlebotの文字列が変更された際に、対処する必要があります。

▼関連記事

12月にはレンダリングエンジンも変更対象に

Googlebotのレンダリングエンジンは数年間にわたって、Chrome 41相当でした。
しかし2019年5月から、Googleのレンダリングエンジンがアップデートされるようになり、現在ではChromeのアップデートに伴って、レンダリングエンジンのアップデートが行われています。

しかしこれまでGooglebotのレンダリングエンジンのアップデートに伴って、ユーザーエージェントが変更されることはなく、当面は現行のユーザーエージェントを保持するという姿勢をGoogleは見せてきました。

その理由は、ユーザーエージェントの文字列を変更してしまうと、この文字列を利用しているシステムに不具合が生じる可能性があるからです。
たとえばユーザーエージェント「GoogleABC」があったとします。
これを指定して動作するシステムがあった場合、ユーザーエージェント「GoogleABC」がユーザーエージェント「GoogleDEF」に変更されてしまうと、ユーザーエージェント「GoogleABC」に対するシステムがうまく機能しなくなってしまいます。

ところが2019年の12月にユーザーエージェントが変更されました。（変更前に事前に通知が行われていました）そのためユーザーエージェントに対する特別な処理を行なっているサイトでは、ユーザーエージェントの文字列の変更を受けて対策を取る必要があります。

ユーザーエージェント文字列の変更内容

ここでは2019年の12月から実際にどのようにユーザーエージェントの文字列が変更されたのかを解説します。

スマートフォン用Googlebotの場合

スマートフォン用のGooglebotの2019年12月までのユーザーエージェントの文字列は、以下の通りでした。

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

それが現在では次のようになっています。

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

なおChrome/W.X.Y.Zの部分は実際には Chrome/W.X.Y.Zという文字が入るわけではありません。その時点で最新のChromeのバージョンが入ります。たとえばChrome 76バージョンであれば、「Chrome/ 76.0.3809.100」がChrome/W.X.Y.Zの部分に入ります。

パソコン用Googlebotの場合

パソコン用のGooglebotの2019年12月までのユーザーエージェントの文字列は、以下の通りでした。

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

または

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

それが現在では次のようになっています。

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

または

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

なおスマートフォン用のユーザーエージェントの文字列と同様に、Chrome/W.X.Y.Zの

部分にはその時点で最新のChromeのバージョンが入ります。

ユーザーエージェントの変更で対応は必要？

Googlebotのユーザーエージェントの文字列が2019年12月から変更されることを解説しましたが、知りたいのは「自分のサイトが何かしらの対策が必要なのか」ということだと思います。そこでここではユーザーエージェントが変更されることで対応が必要な場合と、必要でない場合を解説します。

ほとんどのサイトで対応は必要ない

ほとんどのサイトでは、Googlebotのユーザーエージェントの変更を受けて対策を取る必要はありません。

そもそも特定のGooglebotのユーザーエージェントを指定して、システムを構築していなければ、Googlebotの文字列が変更されても関係がありませんが、ほとんどのサイトではそのようなシステム構築はされていないからです。そのため一般的なサイトであれば、全く影響はありません。

Googleの公式の発表でも、この変更がほとんどのウェブサイトに影響を与えないことがわかっていると発表しています。

一部必要なサイトもある

ほとんどのサイトには対策が必要ありませんが、一部対策が必要なサイトもあります。Googlebotのユーザーエージェントを正確に検出して、特別なシステムを構築している場合です。その場合、ユーザーエージェントの変更で現在のシステムが無効になったり、不具合が生じる可能性があります。

ただ、そのような特別なシステムを構築しているサイトの場合、管理者の方がGooglebotのユーザーエージェントの変更について理解しており、すでに対策をとっていることが多いはずです。

しかし、対策が適切に行われていない場合には、以下のような問題が発生することが考えられます。

・通常のページコンテンツではなくエラーメッセージがページに表示される。たとえば、特定のページで Googlebot が広告ブロッカーを使用するユーザーであると見なされ、ページコンテンツへのアクセスが誤って禁止される場合があります。

・クロールをブロックしたドキュメントまたは noindex を使用したドキュメントにページがリダイレクトされる。

引用元：Googlebot のユーザー エージェントの更新

しかし心配であれば、Chromeのデベロッパーツールで、ユーザーエージェント名を最新の文字列に変更して、アクセスして問題なくページが表示されるか試してみることをおすすめします。

確認したいページでデベロッパーツールを開きます。

画面右上のボタンを押して「More tools」「Network conditions」に進みます。

画面下部にNetwork conditionsの設定画面が出ます。

「Select automatically」のチェックを外し、その下のプルダウンメニューから「Custom」を選択すると、さらにその下の入力枠にユーザーエージェントの文字列を入力することができます。既存のユーザーエージェントは「Custom」以外を選択すると選ぶことができます。

そのまま正しく表示されれば問題ありません。

まとめ

これまでChromeがアップデートされても、Googlebotのユーザーエージェントは変更されず、ユーザーエージェントの文字列が変更されることもありませんでした。しかし2019年12月を機に、GoogleはChromeのバージョンアップとともに、ユーザーエージェントも新しくし、文字列を変更しました。

ほとんどのサイトでは影響はありませんが、ユーザーエージェントの文字列を指定してGooglebotに対して特別なシステムを構築している場合には影響が考えられます。たとえばGooglebotのユーザーエージェントの文字列が変更されることで、Googlebotが適切にクロールを行えなくなってしまったりといった不具合もあり得るため、デベロッパーツールを利用して早めに影響を確認することをおすすめします。