爬虫大全：Google-Display-Ads-Bot (AdsBot)：Google用于评估网页广告质量的专用爬虫

编辑文章

简介

Google-Display-Ads-Bot（在Google官方文档中统称为AdsBot）是Google用于评估网页广告质量与目标页面相关性的官方网络爬虫。其最关键的独特属性在于，它属于Google的“特殊用途爬虫”，其抓取行为基于网站使用Google广告产品（如Google Ads、AdSense）的协议，可能忽略全局性的robots.txt禁止指令，以确保广告系统的正常运作。该爬虫的评估结果直接影响广告的投放资格、质量得分以及展示效果。

用户代理

AdsBot根据不同的设备平台有多个具体的用户代理字符串，核心标识均为AdsBot-Google。
– 桌面版网页广告质量检查：
AdsBot-Google (+http://www.google.com/adsbot.html)
– 移动版网页广告质量检查 (iPhone示例)：
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

字符串核心含义：用户代理明确包含AdsBot-Google标识，并附带其官方说明页面链接，这是识别其身份的首要特征。

IP范围

  • IP段来源：AdsBot使用独立于通用爬虫Googlebot的专用IP地址池。其IP范围在Google官方发布的 special-crawlers.json 文件中定义。
  • 反向DNS验证模式：其IP的反向DNS解析结果具有独特的模式，通常包含 rate-limited-proxy-***-***-***-***.google.com 字段。这是验证其真实性的黄金标准。

反向验证方法：
无论是Linux还是Windows，均可通过host命令验证。以下以IP 66.249.90.77为例：

  1. 反向DNS查询：在终端或命令提示符中执行 host 66.249.90.77。
  2. 验证域名：查看输出结果，成功的验证要求返回的域名必须以 .googlebot.com 或 .google.com 结尾。对于AdsBot，预期看到类似 rate-limited-proxy-66-249-90-77.google.com 的结果。
  3. 正向DNS查询（二次确认）：执行 host rate-limited-proxy-66-249-90-77.google.com，检查解析出的IP是否与原始IP一致。

两次查询结果完全匹配，则验证成功。仅依赖IP段或反向DNS单次查询均不足以可靠识别。

交互策略

不屏蔽

  • 场景：网站依赖或计划使用Google的广告产品（如Google Ads投放搜索广告、使用AdSense获得广告收益）。屏蔽AdsBot将导致Google无法评估目标页面质量，可能直接阻碍广告投放、降低广告相关性，甚至延迟广告审核流程。

可屏蔽

  • 场景：网站完全不涉及任何Google广告业务，且AdsBot的抓取行为对服务器资源造成了不可承受的负担。在屏蔽前，务必通过上述方法确认其为真实AdsBot，而非恶意伪装。
  • 屏蔽代码示例：
    • 在robots.txt文件中设置： 
      User-agent: AdsBot-Google
Disallow: /

User-agent: AdsBot-Google-Mobile
Disallow: /
    • 请注意，由于其为特殊用途爬虫，即使设置Disallow，Google仍可能出于协议原因进行必要抓取。

最佳实践

robots.txt

  • 默认允许：除非有充分理由，否则应在robots.txt中允许AdsBot抓取。对于广告客户和发布商，这至关重要。
  • 精准控制：如需限制，可禁止其抓取无关的路径（如后台、日志文件），但务必开放广告着陆页、产品页等关键页面。
  • 优先级：在robots.txt中，更具体的用户代理指令会覆盖通用指令。为AdsBot-Google设置独立规则是推荐做法。

SEO优化

这里的“SEO”指优化页面以获得更好的广告表现与流量质量。
– 保障着陆页质量与访问速度：AdsBot评估的页面体验直接影响广告质量得分。确保广告着陆页加载迅速（特别是移动端）、内容透明相关、符合E-E-A-T（经验、专业性、权威性、可信度）原则。
– 提供清晰的结构化数据：在关键页面上使用Schema.org标记（如产品、文章、FAQ）。这为Google AI提供了机器可读的页面内容与结构信号，有助于其更精准地理解页面并用于广告匹配。
– 优化多模态内容：提供高质量的图片和视频素材。这不仅是效果最大化广告系列（PMax）的基础，也能为AI提供丰富的上下文信息，以生成更相关的广告。
– 保持内容一致性：确保广告文案中的承诺与着陆页内容高度一致。任何误导性或“标题党”行为都可能导致广告拒登或质量分下降。

问题排查

  • 服务器日志中出现大量AdsBot请求：
    • 第一步：验证真实性：立即按上述IP验证流程检查，排除恶意流量伪装。伪造的Googlebot/AdsBot是常见的安全威胁。
    • 第二步：分析抓取模式：在确认为真实爬虫后，通过日志分析其抓取频次和路径。若抓取过于频繁，可考虑通过Google Search Console调整抓取速率设置，或检查网站内部是否存在大量低价值或重复的链接吸引了爬虫。
  • 广告投放受阻或质量分异常：
    • 检查robots.txt：首先确认未意外禁止AdsBot抓取广告相关页面。
    • 检查页面可访问性：确保目标页面返回200 OK状态码，无noindex元标签或错误的重定向。
    • 使用Google官方工具：通过Google Ads的“网址检查”或Google Search Console的“网址检查工具”，模拟AdsBot抓取，查看Google所见到的页面内容、资源加载情况和任何存在的问题。