职位描述

我们正在寻找一位经验丰富的反机器人工程师，设计、构建和操作大规模、可靠的网络爬虫系统，从高度保护的网站（包括Google-like环境）中提取高质量数据。该职位是资深的工程角色，专注于构建生产级系统，这些系统在对抗性条件下（反机器人系统、动态渲染、频繁的结构变化和高体积数据提取）运行。

任职要求

7年以上专业软件工程经验，重点在后端系统、数据工程或分布式系统；有构建和操作大规模生产级网络爬虫系统的 proven 经验；深入的动手经验在Google或类似复杂、高度保护/反机器人环境中爬取数据；对Python（或同等的生产语言如Go、Rust或JavaScript）有深厚的专业知识；对HTTP内部细节：头信息、Cookie、TLS、重定向、会话和浏览器网络行为有深入理解；有浏览器自动化框架（如Playwright、Selenium、Puppeteer或等效工具）的经验；对HTML解析、DOM遍历和高性能数据提取技术有深入的了解；有处理反机器人系统（包括速率限制、CAPTCHA、IP旋转和指纹识别）的 proven 经验；有设计异步和并发系统用于高吞吐量工作负载的经验；在分布式、故障多的生产系统中具备强大的调试技能；有在生产环境中运行云系统经验，有强的操作所有权；在高度对抗性和快速变化的技术环境中感到舒适的舒适度。