职位描述

设计、开发和维护可扩展的数据管道使用PySpark高效处理大规模数据。开发、测试和优化机器学习模型进行预测分析，包括回归、分类和聚类技术。管理并部署机器学习环境和工作流使用AWS SageMaker，同时利用Athena进行数据查询和分析。将机器学习模型集成到生产管道中，确保适当监控、维护和持续改进通过MLOps最佳实践。与跨职能团队紧密合作，理解业务挑战并将其转化为数据驱动的解决方案。使用Python和SQL进行高级数据分析以交付可操作见解。

任职要求

2-3年数据工程、机器学习或类似角色经验。高级Python熟练度，包括Pandas、NumPy和Scikit-learn库。强SQL技能用于数据查询、转换和分析。使用PySpark处理大规模数据的实战经验。对机器学习算法（回归、分类、聚类和超参数优化技术）有扎实理解。有AWS服务经验，特别是SageMaker和Athena。了解MLOps实践并有在生产环境中集成和监控ML模型的经验。熟悉Git和使用GitHub的协作开发流程。