Papigen招聘印度Azure数据工程师

负责设计、构建和维护处理大规模企业数据的可扩展数据管道；开发和优化使用Azure Data Factory (ADF)、Databricks和Synapse的ETL/ELT工作流；实施数据摄入、转换、清洗和验证流程；构建和维护支持.NET业务应用程序的数据服务/API；开发和优化SQL查询和基于Spark的转换以实现高性能数据处理；监控、排查和优化数据管道、ETL作业和性能瓶颈；实施数据治理、元数据管理、数据血缘跟踪和数据质量流程；与数据科学家、分析师、开发者和发布团队紧密合作以交付可扩展的数据解决方案；处理来自多个企业来源的结构化和非结构化数据集；参与缺陷跟踪、根本原因分析和生产支持活动；确保符合组织数据安全和隐私标准；保持对新兴技术和云数据工程最佳实践的了解。

7年以上数据工程和Azure云技术经验；熟悉Azure Data Factory (ADF)、Azure Databricks、Azure Synapse Analytics、Azure SQL Database、Azure Functions、Azure Logic Apps；具备构建ETL/ELT管道、ADF数据流及活动、Spark/PySpark转换的经验；精通Python、SQL、Spark；熟悉结构化和非结构化数据、数据质量和验证框架、数据治理和元数据管理；理解数据湖架构、分布式数据处理、基于API的数据集成；有Snowflake、Dremio、Kafka、Hadoop等技术经验；具备优秀的分析、故障排查和沟通技能；具备与技术及业务相关方协作的能力。