数据工程师（流式与分析）

负责构建和维护数据管道、流系统以及转换层，以支持新的微软为中心的分析生态系统。此职位在现代化我们的数据平台中至关重要，该平台集成了Apache Kafka、Apache Spark、Python、MongoDB、SQL Server、Data Frames、Rapids、Microsoft Fabric、Power BI、Copilot和Purview。

职责包括：设计、构建和维护支持微软Fabric基于的分析生态系统的可扩展批处理和流数据管道；开发跨分层架构（例如青铜/银/金）的可靠数据摄入和转换过程，以支持操作分析、BI和高级用例；为实时和批处理数据处理设计和实现高性能、容错解决方案；设计和实现符合企业分析、语义层和Power BI消费的数据模型；与BI分析师、数据消费者和平台团队紧密合作，确保数据产品被良好建模、可发现和可信赖；在维护数据线程、元数据和详尽文档的受管数据环境中工作；应用工程最佳实践，包括代码审查、监控、优化和成本意识设计；贡献新兴分析能力，包括AI辅助和Copilot启用的数据体验；确保平稳的操作、 productive的沟通和有效的理解在所有人际接触中；提供当前和准确的信息给所有请求者，礼貌且及时。

要求包括：计算机科学、工程或相关领域的学士学位；6年数据工程专业经验；Apache Kafka，包括生产者、消费者、主题设计和保留概念；从MongoDB、SQL Server、API和操作系统整合数据；维度建模，包括星型模式、事实表和缓慢变化维度；Apache Spark / PySpark用于可扩展的批处理和流工作负载；Microsoft Fabric，包括Lakehouse、Warehouse、OneLake、笔记和管道；演示使用Power Platform工具的经验，包括Power Apps和Power Automate；在生产环境中设计和操作ETL/ELT管道；在使用Microsoft Purview的受管环境中操作。

优先资格包括：整合数据管道与机器学习或MLOps工作流的经验；实施实时监控、警报和可观察性经验；优化数据平台以降低成本、性能和可扩展性经验。

学士学位，计算机科学、工程或相关领域；6年数据工程经验；Apache Kafka经验，包括生产者、消费者、主题设计和保留概念；整合数据来自MongoDB、SQL Server、API和操作系统；维度建模，包括星型模式、事实表和缓慢变化维度；Apache Spark / PySpark用于可扩展的批处理和流工作负载；Microsoft Fabric，包括Lakehouse、Warehouse、OneLake、笔记和管道；演示使用Power Platform工具的经验，包括Power Apps和Power Automate；在生产环境中设计和操作ETL/ELT管道；在使用Microsoft Purview的受管环境中操作。