数据工程师II

设计、构建、测试和维护可靠的数据管道和数据解决方案，以支持分析、报告和运营用例。该角色负责定义领域内端到端的数据管道或数据流，并独立处理中等复杂度的数据工程任务。

密切与高级工程师、架构师和利益相关者合作，交付高质量、安全且有文档的数据解决方案，以满足业务和技术需求。

主要任务、职责和关键责任

• 设计、开发和维护生产级数据管道、数据转换和数据模型。
• 与业务和技术利益相关者合作，理解数据需求并将其转化为可扩展的解决方案。
• 实施和维护数据仓库、数据湖或数据湖house解决方案，符合架构标准。
• 执行单元测试并支持QA、回归和用户验收测试。
• 调试、排查和解决数据管道故障、性能问题和数据质量缺陷。
• 参与同行代码审查并应用反馈以提高代码质量和可维护性。
• 支持现有数据平台和工具的改进、修补和升级。

学士学位，计算机科学、信息科技或相关领域。
4年SQL和/或Python在数据仓库管理、数据集成和数据湖管理中的实际开发经验。
深入的SQL开发知识，使用T-SQL代码设计、实施和优化复杂数据库对象，如表、视图、存储过程、索引和函数。
有经验在Azure数据架构，包括对构建数据管道在云数据平台上的工具的坚实理解，如Delta Lakehouse Medallion架构和数据仓库解决方案。
有经验在现代Spark-based数据平台如Databricks或Microsoft Fabric进行数据工程任务，包括利用其能力进行可扩展的数据处理、分析和机器学习工作流。
了解ELT与ETL的区别以及如何构建高效的具有现代Change Data Capture过程的数据管道。
在Azure DevOps中的CI/CD管道有实际经验，并了解敏捷开发方法。
熟悉常见的数据映射和转换技术用于Dynamics 365数据实体和数据管理框架（财务和运营模块）。
熟悉Power BI及其与Microsoft Fabric的集成用于端到端分析。

安全可靠的基础设施支持，本地专家与全国供应链结合，促进社区繁荣。

Core & Main是一家专注于水、污水、暴雨排水和消防保护产品及相关服务的专业分销商，为市政、私营水公司和专业承包商提供解决方案，覆盖市政、非住宅和住宅终端市场。公司拥有全美370个门店，致力于通过安全可靠的基础设施帮助社区发展。

无