Xinova集团招聘数据工程师（美国）| LinkedIn

平台与工程：开发、优化和维护可扩展的数据管道和工作负载，使用Primoris的Databricks Lakehouse平台，遵循已建立的Medallion层模式。构建和部署生产级Databricks解决方案（包括无服务器方案），支持批处理、流式、ML和生成式AI工作负载，重点在性能、成本效率、安全性和可靠性。实施和维护解决方案，利用Unity Catalog、Delta Lake和Medallion架构模式，支持分析和操作用例。与企业架构、安全、基础设施和应用团队协作，确保Databricks实施符合更广泛的平台和集成标准。
交付与运营：开发、部署和迁移优先用例和工作负载到Databricks Lakehouse生产环境。作为技术挑战的主要联系人，处理开发和生产工作负载的技术问题，包括问题排查、根本原因分析和升级协调。在混合交付团队中有效工作——内部员工、咨询合作伙伴和海外资源——确保清晰的问责制和一致的工程成果。维护和贡献工程标准，涵盖CI/CD、自动化测试、可观测性、监控和警报、以及事件运行手册。
数据工程：编写和审查高质量的多语言笔记本和模块（SQL、Python/PySpark）用于数据工程和数据科学/AI/ML用例。设计和实现流式和批处理数据管道，使用Auto Loader、Delta Live Tables（DLT）和Structured Streaming，处理结构化、半结构化和非结构化数据。应用性能调优技术，优化Spark作业、Delta表和集群配置的吞吐量、成本和可靠性。
治理、安全与合规：实施行级安全（RLS）、列掩码、数据加密/解密等数据保护控制，使用Unity Catalog和云原生Azure能力。与安全和合规利益相关者合作，实施数据治理模型、访问模式、数据分类、审计和监管控制。确保所有实施符合Primoris的安全、网络和合规标准。
利益相关者协作与沟通：参与发现研讨会和需求会议，与业务和技术利益相关者理解数据流、痛点和用例优先级。将需求转化为清晰的实施计划，定义任务、依赖关系和交付里程碑。定期向负责人和利益相关者更新进展、风险和阻碍，提供实际选项和建议。
工程标准、指导与重用：贡献并遵循务实的工程标准，涵盖编码模式、数据建模、可观测性、成本优化和工作区约定。支持初级和中级工程师通过代码审查、知识共享会议和复杂任务配对。构建和维护可重用的工程资产——启动笔记本、管道模板、实用程序库和运行手册，以加速交付并提高一致性。
资格：计算机科学、信息系统、工程、数据科学等学士学位或同等实践经验。5年以上数据工程或分析工程职位经验，其中2年以上在Databricks或类似分布式数据平台工作。证明有经验构建和维护Databricks管道，使用Medallion架构在摄入、转换和服务层。熟悉Databricks在Microsoft Azure（必需）上的使用，包括熟悉Azure安全、网络、身份和存储服务。精通Python（包括PySpark）和SQL，能够编写高性能、生产级代码用于大规模数据处理。有经验实施Auto Loader、Delta Live Tables（DLT）和Structured Streaming解决方案处理结构化、半结构化和非结构化数据。熟悉Unity Catalog能力，包括数据治理、RBAC、线谱、审计和安全数据共享。熟悉在Databricks中实施数据安全控制——RLS、列掩码、加密——以符合企业安全政策。有在CI/CD驱动的交付环境中工作的经验，包括自动化测试、版本控制和可观测性工具。有持续学习和保持Databricks Lakehouse平台、Azure服务和现代数据工程模式更新的证据。
加分项：一个或多个Databricks认证（例如Databricks认证数据工程师助理/专业）。有云数据仓库技术（如Synapse、Snowflake、BigQuery、Redshift）的经验。熟悉基础设施即代码工具（如Terraform）用于管理Databricks工作区配置。

计算机科学、信息系统、工程、数据科学等学士学位或同等实践经验。5年以上数据工程或分析工程职位经验，其中2年以上在Databricks或类似分布式数据平台工作。证明有经验构建和维护Databricks管道，使用Medallion架构在摄入、转换和服务层。熟悉Databricks在Microsoft Azure（必需）上的使用，包括熟悉Azure安全、网络、身份和存储服务。精通Python（包括PySpark）和SQL，能够编写高性能、生产级代码用于大规模数据处理。有经验实施Auto Loader、Delta Live Tables（DLT）和Structured Streaming解决方案处理结构化、半结构化和非结构化数据。熟悉Unity Catalog能力，包括数据治理、RBAC、线谱、审计和安全数据共享。熟悉在Databricks中实施数据安全控制——RLS、列掩码、加密——以符合企业安全政策。有在CI/CD驱动的交付环境中工作的经验，包括自动化测试、版本控制和可观测性工具。有持续学习和保持Databricks Lakehouse平台、Azure服务和现代数据工程模式更新的证据。