爬虫大全：SeznamBot 为捷克及斯洛伐克市场提供索引的官方搜索引擎爬虫

简介

SeznamBot是Seznam.cz公司用于为其搜索引擎（捷克及斯洛伐克市场的主要搜索引擎）发现和索引网络内容的官方网络爬虫。其最关键的独特属性在于它是专注于捷克语和斯洛伐克语市场的专用爬虫，并完全兼容IndexNow协议以实现高效的更新通知。该爬虫的索引结果直接用于Seznam搜索引擎（seznam.cz），是触及中欧地区用户的关键入口。

用户代理

Mozilla/5.0 (compatible; SeznamBot/4.0; +https://o-seznam.cz/napoveda/vyhledavani/en/seznambot-crawler/)
– 字符串解析：
– SeznamBot/4.0：明确标识爬虫名称及主版本号。
– compatible：声明其与常见浏览器标准兼容。
– +https://...：提供了指向该爬虫官方说明页面的链接，这是进行核验的关键依据。

IP范围

SeznamBot从固定的IPv4和IPv6地址段发起请求。反向DNS（PTR）记录是验证其身份的金标准。

生产爬虫IP段

• IPv4： 77.75.76.x、77.75.77.x、77.75.78.x、77.75.79.x
• IPv6： 2a02:598:64:8a00::3100:0/123、2a02:598:128:8a00::b00:0/123、2a02:598:96:8a00::1200:120/123

反向验证方法

验证访问IP的PTR记录是否指向seznam.cz域。
– Linux (使用 dig 命令):

“`bash
dig +short -x <来访IP地址>
“`
成功验证应返回类似 `fulltextrobot-77-75-77-xxx.seznam.cz` 的结果。
– **Windows (使用 `nslookup` 命令)**:
“`cmd
nslookup <来访IP地址>
“`
在输出的最底部，查看“名称”字段，成功验证应包含 `.seznam.cz` 后缀。

其他专用IP*

• 测试版本爬虫：使用 77.75.73.26、77.75.72.26 等特定IP，其PTR记录包含 -test- 标识。
• IndexNow密钥验证：从 77.75.72.74、77.75.73.74 等固定IP发起验证请求。

交互策略

不屏蔽

• 目标市场在捷克或斯洛伐克：若您的网站致力于服务该地区用户，SeznamBot是必须允许的关键爬虫。
• 新闻与高时效性内容网站：SeznamBot旗下的FreshBot爬虫专门抓取新鲜内容，对此类站点至关重要。
• 已使用IndexNow协议：若提交IndexNow请求，需允许其验证IP以完成密钥验证流程。

可屏蔽

• 非目标市场且无国际化业务：如果您的业务与中欧市场完全无关，可考虑屏蔽。
• 资源极度受限的API或后台接口：为防止不必要的资源消耗。
• 敏感或未完成开发的预发布环境。

屏蔽示例 (robots.txt):

User-agent: SeznamBot
Disallow: /private/
Disallow: /api/
# 完全屏蔽使用：
# Disallow: /

最佳实践

SEO优化

• 利用IndexNow协议：SeznamBot是IndexNow协议的早期支持者。在网站上实现此协议，可在内容更新后主动、即时地通知Seznam，大幅缩短索引延迟。
• 提交Sitemap：通过Seznam站长工具（Nástroj pro správce webů） 提交Sitemap，这是确保网站结构被完整发现的最佳途径。
• 本地化内容信号：确保网页HTML语言标签（如lang="cs"）、地域性Hreflang注解等本地化SEO标记清晰准确，有助于SeznamBot正确理解和归类您的内容。