职位描述

我们正在寻找一位经验丰富的反爬虫工程师，负责设计、构建和运营大规模、具有弹性的网络爬虫系统，从受保护且不断变化的网络环境中提取高质量数据。该职位是高级工程师职位，专注于构建生产级系统，在对抗性条件下（反爬虫系统、动态渲染、频繁的结构变化和高体积数据提取）运行。你将负责架构和维护爬虫基础设施，必须保持可靠、可观察和实时适应。该职位需要深厚的technical maturity，强系统的思维，以及在复杂、模糊环境中独立运作的能力。

任职要求

7年以上专业软件工程经验，重点在后端系统、数据工程或分布式系统；有构建和运营大规模生产级网络爬虫系统的 proven experience；深入经验在爬取Google或类似复杂、受保护/反爬虫环境；精通Python（或类似生产语言如Go、Rust或JavaScript）；深入理解HTTP内部：头、cookie、TLS、重定向、会话和浏览器网络行为；有浏览器自动化框架如Playwright、Selenium、Puppeteer或等经验；强HTML解析、DOM遍历和高性能数据提取技术；有处理反爬虫系统经验，包括速率限制、CAPTCHA、IP旋转和指纹；有设计异步和并发系统处理高吞吐量工作负载经验；强调试技能跨分布式、易出错的生产系统；有在云环境中运行大规模系统经验；在高度对抗性和快速变化的技术环境中工作经验。