职位描述

负责数据工程任务，使用AWS Glue和Python构建ETL管道，熟悉Airflow进行DAG开发；具备AWS S3和Glue经验，使用Git和Jupyter Notebook进行原型设计和版本控制；了解Docker和Kubernetes的基础知识

任职要求

熟练掌握Python和PySpark，用于构建结构化和半结构化数据的ETL管道；熟悉Airflow进行DAG开发；具备AWS S3和Glue经验；使用Git和Jupyter Notebook进行原型设计和版本控制；了解Docker和Kubernetes的基础知识