高级数据工程师 - 云迁移与平台架构（GCP/AWS/Azure）

我们正在经历数据基础设施的根本性转变，从遗留的本地环境迁移到现代的混合云数据网架构，涵盖Google Cloud Platform (GCP), Amazon Web Services (AWS)和Microsoft Azure。我们寻找一位资深数据工程师，不仅使用这些平台，还具备从底层构建的能力。该职位要求具备大型迁移项目经验，特别是将Hive/Impala工作负载和HDFS数据集迁移到云原生存储和计算（Snowflake/Databricks）。

要求：5年以上软件工程经验。详细期望：代码质量：您将数据管道视为软件产品。您将强制执行单元测试（PyTest），集成测试和CI/CD对于所有Spark作业，包括在Azure Databricks上部署的作业使用Azure DevOps。优化：您具备调试Spark UDF中的JVM垃圾回收问题的能力，并将它们重构为原生Spark SQL函数或Pandas UDF（向量化）以实现10倍的性能提升。模块化：您将设计可重用的Python包和库用于数据摄入、验证（Great Expectations）和日志记录，这些包和库在GCP、AWS和Azure环境中共享。