首页 编程运维管理正文

User Agent里Mediapartners-Google是什么浏览器/客户端

📅12-10 09:29 星期四 📄617 字

在网站访问日志里,看到Mediapartners-Google,搜索一下,原来是Google Adsense的漫游器,Mediapartners-Google 抓取网页中的文字内容,用于 Google Adsense 分析关键词。只有投放了 Google Adsense 网页才会被 Mediapartners-Google 探测器爬取。

Adsbot-Google 抓取网页中的文字内容,用于为 Google AdWords 提供参考。只有 Google AdWords 目标网页才会被 Adsbot-Google 探测器爬取。

Mediapartners-Google与Googlebot并不相同,google Adsense与网页搜索使用两套不同的的蜘蛛机器人

Googlebot 一般称为 Google 机器人或 Google 探测器或Google蜘蛛。

Google会 派遣不同的 Googlebot 对网页内容进行获取,主要包括:

Googlebot 抓取网页中的文字内容。获取的内容保管于 Google 网页搜索和新闻搜索的数据库,一般谈的 Google 机器人主要指这个。

Googlebot-Mobile 抓取网页中的文字内容,用于 Google 手机搜索。

Googlebot-Image 抓取网页内的图片内容,保管入 Google 图片搜索数据库。

Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以制止。