Azure数据工程师

负责设计、开发和维护可扩展的数据管道，使用Azure数据服务。构建和管理ETL/ELT工作流，使用Azure数据工厂（ADF）和Azure Synapse Analytics。使用Azure Databricks和Apache Spark开发数据处理解决方案。与结构化和非结构化数据在Azure数据湖存储（ADLS）中工作。从多个来源进行数据导入，包括API、数据库和扁平文件。优化数据管道的性能、可靠性和成本效率。与数据科学家、业务分析师和利益相关者合作，了解数据需求。实施数据转换和清理逻辑，确保数据质量和完整性。开发和维护用于分析和报告的数据模型。监控和调试数据工作流和生产问题。实施跨数据平台的安全、治理和合规政策。使用SQL数据库，包括Azure SQL数据库和SQL Server。使用CI/CD管道自动化部署，使用Azure DevOps工具。维护数据架构、管道和流程的文档。支持实时和批处理数据处理解决方案。参与敏捷/Scrum开发方法。