数据工程师

负责构建和维护数据管道，设计数据架构，处理分布式计算任务，开发数据集成解决方案，确保数据流高效稳定。要求具备数据工程经验，熟悉云平台工具，精通SQL及流式计算技术。

应具备3-5年数据工程经验；应具备分布式计算的实践经验；应具备数据架构设计经验；精通Python和Java等编程语言；应了解存储和计算选项及选择场景；必须具备至少一种云平台经验；精通Apache Spark、Apache Beam或Apache Flink；必须掌握高级SQL知识；应了解流式计算概念如窗口、迟到数据、触发器等；应具备GCP工具开发端到端数据管道的经验；应具备商业思维以理解数据在BI和分析中的应用；应具备CI/CD流水线、部署方法论和基础设施即代码经验；应了解不同文件格式及适用场景；有Kubernetes经验者优先；有向量数据库如Qdrant经验者优先；应具备集群优化/流水线优化策略理解。