以下クローラ名とそのユーザーエージェントトークンです。
- APIs-Google : APIs-Google
- AdSense : Mediapartners-Google, Mediapartners (Google)
- モバイルウェッブ用 AdsBot : AdsBot-Google-Mobile
(ウェッブページの広告品質をチェックするボット。Android用とiPhone用の2種類があります。) - AdsBot : AdsBot-Google
(パソコンのウェッブページの広告品質をチェックします) - 画像用 Googlebot : Googlebot-Image
- ニュース用 Googlebot : Googlebot-News
- 動画用 Googlebot : Googlebot-Video
- Googlebot : Googlebot
(パソコン用とスマートフォン用の2種類があります。) - モバイル AdSense Mediapartners-Google, Mediapartners (Google)
- モバイルアプリ Android : AdsBot-Google-Mobile-Apps
クローラーが細分化されていることも納得できます。
2017年以降、AdSenseの広告配信は、システム側でかなり細かく制御するようになってきていると認識しています。この傾向は今後さらに強まると思います。