数据工程Python和Pyspark - 副总裁助理

负责构建和维护数据平台的批处理或实时数据管道；维护和优化用于准确提取、转换和加载数据的所需数据基础设施；开发ETL（提取、转换、加载）过程以帮助从多个来源提取和操纵数据；监控和控制所有开发阶段的过程，提供用户和操作支持；自动化数据工作流如数据摄入、聚合和ETL处理；分析大数据集以识别趋势、异常和行为模式；应用机器学习和AI概念（监督/非监督学习）支持预测和探索性分析；执行特征工程和数据转换以启用ML模型；支持趋势分析、分段、聚类和预测用例；准备数据仓库中的原始数据为技术及非技术利益相关者提供可消费的数据集；构建、维护和部署数据产品；确保数据准确性、完整性和合规性；监控数据系统性能并实施优化方案。

8-14年数据工程相关经验；高级SQL/RDBMS技能和关系数据库及数据库设计经验；精通面向对象语言：Python、PySpark是必需的；有大数据经验（Hive/Impala/S3/HDFS）；有数据摄入工具（如Talend或Ab Initio）使用经验；数据分析、数据探索和趋势识别的强技能；对机器学习基础（回归、分类、聚类、特征工程）有扎实理解；有数据湖架构经验（如AWS Cloud/Airflow/Starburst/Iceberg）者优先；精通Bash、UNIX Shell脚本语言；精通数据管道和工作流管理工具；强项目管理及组织能力；优秀的解决问题、沟通和组织能力；能独立工作并与团队合作；有成功项目管理经验；能快速调整优先级；清晰书面和口头沟通能力。