Googleのクローラーの種類 - 広告用クローラーは端末別に細分化されています

返信
アバター
Chico M
管理人
記事: 243
登録日時: 2017年8月14日(月) 11:44
Been thanked: 4 time
連絡を取る:

2017年12月19日(火) 07:58

Googleは、サイトのページを自動的に検出してコンテンツをスキャンするクローラーの種類を公開しています。

以下クローラ名とそのユーザーエージェントトークンです。
  • APIs-Google : APIs-Google
  • AdSense : Mediapartners-Google, Mediapartners (Google)
  • モバイルウェッブ用 AdsBot : AdsBot-Google-Mobile
    (ウェッブページの広告品質をチェックするボット。Android用とiPhone用の2種類があります。)
  • AdsBot : AdsBot-Google
    (パソコンのウェッブページの広告品質をチェックします)
  • 画像用 Googlebot : Googlebot-Image
  • ニュース用 Googlebot : Googlebot-News
  • 動画用 Googlebot : Googlebot-Video
  • Googlebot : Googlebot
    (パソコン用とスマートフォン用の2種類があります。)
  • モバイル AdSense Mediapartners-Google, Mediapartners (Google)
  • モバイルアプリ Android : AdsBot-Google-Mobile-Apps
広告用のクローラーが多いのが印象的です。広告関連のボットは、モバイルとパソコンそれぞれに分かれ、更にモバイルウェッブの広告品質チェック用には、AndroidとiPhone用の2種類があります。パソコンとモバイルでは表示される広告の種類も異なるものがあります。また、画像の幅に合わせて表示されるレスポンシブ広告ユニットのサイズのバリエーションも増えています。広告自動挿入もモバイルとデスクトップ、AMP用があります。

クローラーが細分化されていることも納得できます。

2017年以降、AdSenseの広告配信は、システム側でかなり細かく制御するようになってきていると認識しています。この傾向は今後さらに強まると思います。


アバター
Chico M
管理人
記事: 243
登録日時: 2017年8月14日(月) 11:44
Been thanked: 4 time
連絡を取る:

2017年12月19日(火) 08:12

AdSenseの関連コンテンツの表示制御は、クローラーにルールを伝える記述を格納したXMLファイルをルートディレクトリに設置して行います。ファイルの形式は、XMLになりますが、コンセプト、アプローチはrobots.txtやads.txtと似ています。

https://www.blogging-life.com/how-to-co ... d-content/
返信