数据工程师

负责构建基于Databricks的可扩展数据摄取和流平台，使用Confluent连接器、Databricks Auto Loader和Delta Lake技术。核心职责包括：1. 设计Spark Structured Streaming管道处理CDC事件 2. 实现Prometheus/Grafana监控体系 3. 通过Airflow/Delta Live Tables实现自动化流程 4. 确保数据质量与安全标准 5. 具备Kafka/Azure Event Hub实战经验 6. 熟悉Lakehouse架构与DevOps CI/CD实践

1. 5-8年大数据框架经验 2. 熟练使用Kafka或Azure Event Hub 3. 精通Python/Scala/Java 4. 深了解Lakehouse架构 5. 熟练掌握DevOps实践 6. 优先考虑有事件驱动架构经验者