爬虫大全：SeznamBot: 捷克Seznam搜索引擎的核心索引爬虫

编辑文章

简介

SeznamBot是Seznam.cz（捷克主要搜索引擎）用于发现和索引网页内容的官方网络爬虫。它专门服务于捷克及中东欧市场，是其搜索引擎结果的唯一内容来源。其独特的 FreshBot 变体专注于快速抓取新闻和频繁更新的内容，对时效性站点至关重要。用户可通过 seznam.cz 使用其索引结果进行搜索。

用户代理

其标准且唯一的用户代理字符串为：

Mozilla/5.0 (compatible; SeznamBot/4.0; +https://o-seznam.cz/napoveda/vyhledavani/en/seznambot-crawler/)
  • SeznamBot/4.0: 标识爬虫名称及版本。
  • compatible: 表示其兼容通用浏览器行为。
  • +https://...: 直接链接至官方文档，这是验证其真实性的关键。

IP范围

SeznamBot 从以下明确的IPv4和IPv6段发起请求，必须结合反向DNS验证以确认其真实性。

生产爬虫IP段

  • IPv4: 77.75.76.0/22 (涵盖 77.75.76.x 至 77.75.79.x)
  • IPv6:
    • 2a02:598:64:8a00::3100:0/123
    • 2a02:598:128:8a00::b00:0/123
    • 2a02:598:96:8a00::1200:120/123

验证与测试IP

  • 测试版本IP: 77.75.73.26, 77.75.72.26 等，用于预发布测试。
  • IndexNow验证IP: 77.75.72.74, 77.75.73.74 等，专门用于验证通过IndexNow协议提交的URL。

反向DNS验证方法

这是在生产环境中进行精准识别的核心步骤。验证其PTR记录是否以 .seznam.cz 结尾。

  • Linux/Unix环境命令: 
    host <来访IP地址>

    或

    dig -x <来访IP地址> +short

    成功验证结果示例：fulltextrobot-77-75-77-123.seznam.cz

  • Windows环境命令（PowerShell）:

    Resolve-DnsName <来访IP地址> -Type PTR

    成功验证结果示例：fulltextrobot-77-75-77-123.seznam.cz

验证成功标准：PTR记录的主机名必须精确匹配 fulltextrobot-{IP段}.seznam.cz 或 fulltextrobot-test-{IP段}.seznam.cz（测试版）格式。

交互策略

不屏蔽

  • 希望内容在捷克及中东欧市场获得流量的网站。
  • 新闻资讯、博客等依赖即时收录的站点（需关注 FreshBot）。
  • 正在拓展中东欧市场的电商或服务网站。

可屏蔽

  • 纯本地化、非捷克语且与国际市场无关的内容。
  • 后台、登录页、API接口等不希望被公开索引的内部资源。
  • 正在进行大规模重构且不希望当前版本被收录的站点。

屏蔽代码示例 (robots.txt):

User-Agent: SeznamBot
Disallow: /private/
Disallow: /admin/
Disallow: /api/

若要完全屏蔽，可使用：

User-Agent: SeznamBot
Disallow: /

最佳实践

robots.txt

  • 明确允许：除非有必要屏蔽的目录，否则无需特意在 robots.txt 中允许 SeznamBot，它会自动遵循规则。
  • 避免冲突：确保针对 SeznamBot 的规则不会与针对其他主要爬虫（如 Googlebot）的规则产生逻辑冲突，这可能导致意外的不收录。

SEO优化

  • 提交Sitemap：通过 Seznam站长工具（Nástroj pro správce webu） 验证站点并提交XML站点地图，这是引导爬虫的最有效途径。
  • 利用IndexNow协议：Seznam是IndexNow协议的发起方和支持者。为站点实现此协议，可在内容更新后立即主动通知SeznamBot，显著缩短收录延迟。
  • 优化FreshBot收录：对于新闻类内容，确保文章页的发布时间（datePublished）等结构化数据标记清晰，有助于 FreshBot 识别并优先抓取。

问题排查

  • 识别伪装爬虫：任何声称是 SeznamBot 但IP不在官方列表或PTR验证失败的请求，均应视为恶意爬虫或扫描器，建议在防火墙层级拦截。
  • 检查抓取频率：如果发现抓取过于频繁或消耗过多资源，可在站长工具中调整抓取频率设置，或通过 Crawl-delay 指令在 robots.txt 中进行建议（尽管非所有爬虫都遵守）。
  • 收录延迟：若内容未被及时收录，首先检查站长工具中的抓取错误报告，并确认目标页面是否被 robots.txt、noindex 标签或错误的状态码（如404、500）阻止。
  • 地区性收录问题：SeznamBot主要服务于 .cz 域名及捷克语内容。若主要面向国际市场的 .com 站点收录不佳，需在站长工具中明确指定目标区域，并强化本地化链接建设。