数据工程师 - AI/BI

我们正在寻找一名数据智能工程师，设计、构建和运营基于Databricks的数据和AI能力，具有强盛的Medallion架构（原始层/青铜层、精炼层/银层和金层）基础。该平台将 orchestrate 复杂的数据流程和可扩展的ELT管道，以集成来自企业系统的数据，如PeopleSoft、D2L和Salesforce，交付高质量、受控的数据用于机器学习、AI/BI和大规模分析。您将扮演关键角色，工程基础设施和流程，使企业数据流动无缝，驱动Databricks AI/BI仪表板和Genie体验，并成为战略决策、预测建模和创新的 backbone。

• 数据与AI平台工程（Databricks-导向）：
• 构建和扩展Databricks AI/BI解决方案，从头到尾结合受控语义模型、SQL和性能优化查询层。
• 开发并运营Databricks Genie体验，通过精制数据集、元数据和自然语言、自助式分析进行数据集的精制。
• 设计并交付Databricks仪表板和视觉产品，将数据转化为清晰的可操作见解。
• 设计、实施和优化端到端数据管道，遵循Medallion架构原则。
• 构建稳健且可扩展的ETL/ELT管道，使用Apache Spark和Delta Lake将原始（青铜）数据转换为受控的精制（银）和分析准备的（金）数据层。
• 运营Databricks工作流程，用于编排、依赖管理、管道自动化。
• 应用模式演变和数据版本控制，以支持敏捷数据开发。

• 平台集成与数据摄入：
• 连接并摄入来自PeopleSoft、D2L和Salesforce等企业系统的数据，使用API、JDBC或其他集成框架。
• 实施连接器和摄入框架，以适应结构化、半结构化和非结构化数据。
• 设计标准化的数据摄入流程，具有自动化的错误处理、重试和警报。

• 数据质量、监控和治理：
• 开发数据质量检查、验证规则和异常检测机制，确保数据完整性。
• 集成监控和可观察性工具（如Databricks指标、Grafana）以跟踪ETL性能、延迟和失败。
• 实施Unity Catalog或等效工具进行集中元数据管理、数据线谱和治理策略执行。

• 安全、隐私和合规性：
• 遵守数据安全最佳实践，包括行级安全、加密在静止/传输中，以及通过Unity Catalog的细粒度访问控制。
• 设计和实施数据掩码、令牌化和匿名化以符合隐私法规（如GDPR、FERPA）。
• 与安全团队合作审计和认证合规控制。

• AI/ML-Ready数据基础：
• 通过高质量、特征丰富的数据集为数据科学家提供支持，用于模型训练和推断。
• 使用MLflow支持AIOps/MLOps生命周期工作流，用于实验跟踪、模型注册和在Databricks中的部署。
• 与AI/ML团队合作创建可重用的特征存储和训练管道。

• 云数据架构和存储：
• 构思和管理Azure Data Lake Storage（ADLS）或Amazon S3上的数据湖，并设计摄入管道以喂入青铜层。
• 构建数据集市和数据仓库解决方案，使用Databricks等平台。
• 优化数据存储和访问模式以提高性能和成本效率。

• 文档与赋能：
• 维护技术文档、架构图、数据字典和运行手册，所有管道和组件。
• 为内部利益相关者提供Databricks平台、Medallion架构和数据治理实践的培训和赋能会议。
• 进行代码审查并促进跨团队的重用模式和框架。

• 报告和问责：
• 提交每周的工作小时计划和进度报告，概述完成的任务、计划的后续步骤和障碍。
• 跟踪交付物与路线图里程碑，并沟通风险或依赖关系。

具备Databricks（Delta Lake、Apache Spark）和构建AI/BI解决方案的经验，包括仪表板、语义模型和基于Genie的自然语言分析。深入理解云原生环境中的ELT管道开发、编排和监控。具有实施Medallion架构（青铜/银/金）和在企业级环境中工作数据版本和模式强制的经验。熟练掌握SQL、Python或Scala进行数据转换和工作流程逻辑。有将企业平台（如PeopleSoft、Salesforce、D2L）集成到集中数据平台的经验。

KMM科技公司致力于通过创新的数据和AI解决方案推动企业数字化转型，专注于构建高效、安全的数据平台，支持复杂的业务需求和智能决策。