Databricks工程师专家

负责设计、开发和维护可扩展的数据采集管道，处理结构化、半结构化和非结构化数据（批量和流式）。实施数据去重策略以确保数据完整性和减少冗余。开发并执行数据标签框架，用于分类、标记和注释数据集，以支持治理、发现性和合规性。支持云原生ETL服务的运营化和部署，包括流程标准化、自动化、文档编写和与运营团队的知识共享。向高级管理层（包括CIO）汇报项目状态和技术更新。协助Azure云环境的部署、配置和管理。领导或协助将现有ETL作业迁移至Azure/Databricks云环境。推动数据工程团队的优化和效率改进。自动化重复任务以提高工作流程效率。保持对数据工程和云平台最新技术趋势的了解。

5年以上设计和实施数据采集管道经验（Azure Data Factory、Apache Kafka、Apache NiFi、Spark Structured Streaming等）。5年以上应用数据去重技术（记录链接、模糊匹配、实体解析）经验，适用于结构化和非结构化数据。5年以上数据标签、元数据管理和数据目录工具（Azure Purview、Apache Atlas、自动分类工具）经验。5年以上处理非结构化数据经验。2年以上Databricks或其它Spark平台经验。精通至少一种脚本语言（Python、Perl、Ruby等）。具备Git集成、DevOps监控工具及多种数据工程工具和技术（SAS、Python、C++、Hadoop、SQL、Teradata、Oracle、Amazon S3、Spark、ML、NLP、Tableau、QLIK等）经验。具备Azure云操作支持经验。