爬虫大全：CriteoBot 专为动态产品广告更新目录的官方爬虫
编辑文章
CriteoBot是Criteo用于抓取和更新其动态产品广告数据库的官方网络爬虫。它是一个专用爬虫，核心任务是抓取电商网站的产品页面（如商品详情页），以获取最新的价格、库存和产品信息，确保其广告网络投放的广告精准、实时。它严格遵循robots.txt协议，其抓取行为旨在支持Criteo的个性化重定向广告服务。
用户代理
其标准用户代理字符串为：
CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
CriteoBot/0.1：标识爬虫身份及版本。+https://...：指向其官方说明页面，这是验证爬虫真伪的关键依据。
IP范围
// 2026年1月16日数据
178.250.0.0/21
185.235.84.0/22
91.212.98.0/24
91.199.242.0/24
2a02:2638::/32
74.119.116.0/22
199.204.168.0/22
177.73.128.0/21
2620:100:a000::/44
116.213.20.0/22
182.161.72.0/22
2406:2600::/32
交互策略
不屏蔽
- 您的网站是电商网站，并且已加入或计划加入Criteo广告联盟，依赖其进行动态产品广告（DPA）投放。
- 您希望网站上的产品价格、库存和促销信息能够实时、准确地通过Criteo广告网络展示给潜在客户。
可屏蔽
- 您的网站非电商性质（如企业官网、博客、资讯站），不包含需要广告推广的产品目录。
- 您的服务器资源极度紧张，必须优先保障用户访问和核心业务爬虫（如搜索引擎爬虫）的抓取。
- 您对数据隐私有极高要求，不希望任何第三方获取网站上的产品信息。
最佳实践
robots.txt
- 允许抓取：对于希望被索引的产品目录和详情页，可在
robots.txt中为其设置明确的允许规则，并可使用Crawl-delay指令来调整其抓取频率，以减轻服务器压力。 - 禁止抓取：如果决定屏蔽，可直接在
robots.txt中屏蔽，更精细的做法是，仅禁止抓取非产品页面（如购物车、用户账户、后台路径）、敏感信息或过滤参数过多的URL。
SEO优化
- 确保产品信息可访问：CriteoBot主要解析HTML内容。确保产品页面的关键信息（价格、SKU、库存状态）在页面HTML源码中清晰呈现，而非仅通过JavaScript动态加载。
- 提供清晰的页面结构：使用Schema.org结构化数据（如
Product,Offer）标记产品信息，这能显著提高爬虫理解和提取数据的准确性与效率。 - 保持URL稳定与简洁：为产品使用简洁、静态的URL结构，并避免使用会生成大量内容相似页面的会话ID或无关查询参数。
问题排查
- 爬虫被意外屏蔽：检查网站的
robots.txt文件、防火墙规则或.htaccess/Nginx配置，确认是否因泛化规则（如拦截所有非知名爬虫）而误封了CriteoBot。 - 产品信息未更新：如果Criteo广告中信息陈旧，首先确认该产品页面是否允许
CriteoBot抓取，并检查页面HTML源码中关键信息是否已更新且易于抓取。 - 服务器负载异常：若发现来自Criteo的抓取请求过于频繁，应立即在
robots.txt中使用Crawl-delay指令限制其请求速率，或在网站管理后台（若支持）进行配置。 - 验证爬虫真伪：对于任何自称
CriteoBot的流量，务必使用上述反向DNS验证方法进行确认，以防恶意爬虫冒充。真正的CriteoBot一定会尊重robots.txt中的所有指令。