GCP数据工程师 - 大数据

我们正在寻找一位经验丰富的数据工程师，具备在GCP和大数据技术方面的深厚经验。理想的候选人将负责构建可扩展的数据管道，处理大规模数据集，并利用现代云解决方案实现高效的数据处理。关键职责包括设计、开发和维护可扩展且高性能的数据管道；与GCP服务（特别是BigQuery）合作进行数据仓库和分析；使用Python（PySpark）开发数据处理框架；利用大数据技术处理大规模分布式数据；优化数据管道的性能、可靠性和成本效率；与数据科学家、分析师和业务利益相关者合作交付数据解决方案；确保数据质量、治理和安全最佳实践；在生产环境中排查和解决数据相关问题；参与架构讨论并贡献数据平台设计。

必需技能：在Google Cloud Platform（GCP）上有丰富的实践经验；精通BigQuery；熟练掌握Python（PySpark）；在大数据技术（如Hadoop/Spark生态系统）上有扎实经验。有竞争力的技能：熟悉数据管道编排工具（如Airflow）；了解数据建模和数据仓库概念；熟悉流式工具如Kafka；对CI/CD和DevOps实践有了解。