高级数据工程师职位

高级数据工程师负责设计和实施稳健的数据解决方案，推动技术卓越和可扩展性。该职位需指导他人，制定最佳实践，并影响数据架构。预计需主动识别改进系统的机会，推动可靠性，并与产品和业务利益相关者合作，确保数据策略与公司目标一致。职责包括：设计、构建和扩展稳健的批处理和实时数据管道，驱动架构决策；领导复杂数据模型和存储架构的设计；指导团队执行交付计划；设计先进的数据验证框架；领导自动化和监控生产级数据管道；建立详细的technical文档；作为产品、分析和数据科学团队的关键技术合作伙伴。

5-9年数据工程、数据建模和管道开发经验；精通SQL和Python开发和调试可扩展的数据管道；熟悉Azure和Databricks，包括Delta Live Tables和Unity Catalog；熟悉数据集成/编排工具（SnapLogic、Azure Data Factory、Jenkins）；熟练使用基础设施即代码工具如Terraform管理部署管道；设计和优化管道中的API集成；熟悉数据质量可观测性工具如Soda或类似工具；熟练使用GitHub进行版本控制和CI/CD工作流；深入理解维度建模和数据仓库概念；能够领导敏捷环境中的工作，具备强烈的责任感和协作能力。