数据工程师

设计和实施企业级数据平台。构建可扩展且安全的数据湖house解决方案，使用Medallion架构（青铜、银、金层）。开发健壮的数据摄入、转换和校准管道。使用Oracle数据集成工具构建ETL/ELT工作流程。使用Spark、Python和SQL优化批处理和流式数据处理。与架构师、分析师和业务利益相关者协作解决数据问题。确保平台的数据质量、治理、血缘和可靠性。监控和排查管道性能。

熟悉Oracle Cloud Infrastructure (OCI)。动手经验：Oracle Autonomous Database、OCI Data Integration、OCI Data Flow、Oracle GoldenGate、Oracle Data Transforms。强于PySpark、SQL、Python、Airflow、Kafka、REST APIs。具有Medallion架构和数据湖house实施经验。了解维度建模、数据剖析、数据验证、模式演变、日志提取。具有RBAC、加密、审计日志和元数据管理经验。有实时流和异构源系统经验。