Googleのクローラーの種類 - 広告用クローラーは端末別に細分化されています

返信する
アバター
Chico
管理人
記事: 310
登録日時: 8月 14, 2017, 11:44 am
Been thanked: 4 time
連絡する:

Googleは、サイトのページを自動的に検出してコンテンツをスキャンするクローラーの種類を公開しています。

以下クローラ名とそのユーザーエージェントトークンです。
  • APIs-Google : APIs-Google
  • AdSense : Mediapartners-Google, Mediapartners (Google)
  • モバイルウェッブ用 AdsBot : AdsBot-Google-Mobile
    (ウェッブページの広告品質をチェックするボット。Android用とiPhone用の2種類があります。)
  • AdsBot : AdsBot-Google
    (パソコンのウェッブページの広告品質をチェックします)
  • 画像用 Googlebot : Googlebot-Image
  • ニュース用 Googlebot : Googlebot-News
  • 動画用 Googlebot : Googlebot-Video
  • Googlebot : Googlebot
    (パソコン用とスマートフォン用の2種類があります。)
  • モバイル AdSense Mediapartners-Google, Mediapartners (Google)
  • モバイルアプリ Android : AdsBot-Google-Mobile-Apps
広告用のクローラーが多いのが印象的です。広告関連のボットは、モバイルとパソコンそれぞれに分かれ、更にモバイルウェッブの広告品質チェック用には、AndroidとiPhone用の2種類があります。パソコンとモバイルでは表示される広告の種類も異なるものがあります。また、画像の幅に合わせて表示されるレスポンシブ広告ユニットのサイズのバリエーションも増えています。広告自動挿入もモバイルとデスクトップ、AMP用があります。

クローラーが細分化されていることも納得できます。

2017年以降、AdSenseの広告配信は、システム側でかなり細かく制御するようになってきていると認識しています。この傾向は今後さらに強まると思います。
アバター
Chico
管理人
記事: 310
登録日時: 8月 14, 2017, 11:44 am
Been thanked: 4 time
連絡する:

AdSenseの関連コンテンツの表示制御は、クローラーにルールを伝える記述を格納したXMLファイルをルートディレクトリに設置して行います。ファイルの形式は、XMLになりますが、コンセプト、アプローチはrobots.txtやads.txtと似ています。

https://www.blogging-life.com/how-to-co ... d-content/
返信する