数据工程师

设计、构建、安装和维护大规模数据处理系统和数据湖/数据仓库。构建可扩展且可靠的ETL/ELT管道以从多种来源导入数据。确保数据质量并实施数据治理和安全标准。与数据科学家合作以了解建模需求。优化数据系统以提高性能和成本。与数据架构师合作进行数据建模和模式设计。

计算机科学或相关领域的学士或硕士学位。3年以上数据工程师经验。精通SQL，具备大数据技术（如Spark、Hadoop、Kafka）的高级技能。强编程能力，精通Python、Scala或Java。具有云数据服务（如AWS Redshift/S3、Azure Synapse/Data Lake、GCP BigQuery）的经验。了解数据建模和数据仓库概念。