AWS/AZURE数据工程师（全职）

我们正在寻找具有5年以上经验的数据工程师，具备在企业级环境中设计、构建和优化可扩展数据管道、数据集成工作流和数据仓库解决方案的能力。精通ETL/ELT开发、数据摄入和数据转换，使用行业标准工具如Apache Spark、Airflow、Talend或Informatica。熟悉云平台（AWS、Azure、GCP）的数据工程工作负载。精通SQL、Python或Scala，用于实现稳健、高效、可重用的数据处理逻辑。熟悉数据湖和湖仓架构，利用Parquet、Avro或ORC等文件格式优化存储和性能。具备数据建模、多维建模、数据治理和元数据管理经验，确保准确性、安全性和合规性。有实时流和事件驱动架构经验，使用Kafka、AWS Kinesis或Azure Event Hubs等工具。具备CI/CD流水线设置和源代码控制实践经验，使用Git、Jenkins、Azure DevOps或GitLab CI/CD等工具。在性能调优、数据质量验证和维护关键数据工作负载的管道可靠性方面有成功经验。具备问题解决、根本原因分析和调试技能，以提高数据准确性、效率和平台可扩展性。有在敏捷/Scrum环境中工作经验，与数据科学家、业务分析师和DevOps团队协作，交付端到端数据解决方案。额外加分：接触数据目录工具、数据可观测性平台或与BI仪表板集成（如Tableau、Power BI、Superset）。

5年以上数据工程经验；精通ETL/ELT开发、数据摄入和数据转换；熟悉AWS、Azure、GCP等云平台；精通SQL、Python或Scala；熟悉数据湖和湖仓架构；具备数据建模、数据治理和元数据管理经验；有实时流和事件驱动架构经验；具备CI/CD流水线设置和源代码控制实践经验；在性能调优、数据质量验证和管道可靠性方面有成功经验；具备问题解决、根本原因分析和调试技能；有敏捷/Scrum环境工作经验，与数据科学家、业务分析师和DevOps团队协作。