数据平台工程师 | AI（远程）

我们正在寻找一名数据平台工程师 | AI（远程）。参与数据平台现代化项目，将报告和分析系统迁移到统一的云架构上AWS，使用Snowflake作为数据仓库和Python/Spark管道进行数据处理。平台聚合来自财务系统、外部API和内部微服务的数据，支持实时分析、机器学习工作负载和监管报告需求。技能：≥4年数据工程/数据平台/ETL管道经验；使用Python和SQL进行数据转换和摄入流程；AWS数据服务（S3、Glue、Lambda、Step Functions、IAM）；Snowflake / Spark / Databricks分布式数据引擎；为分析、报告/AI工作负载建模数据；处理大规模数据集、批处理和增量加载；通过数据管道、特征数据集或分析平台支持AI/机器学习工作负载；负责实施数据摄入管道，从REST API、关系数据库和事件源中拉取数据到云数据平台；开发使用Python和Spark进行数据预处理的转换任务；维护和优化Snowflake的模式、表和加载过程；使用AWS Glue和Step Functions协调调度和增量加载流程；确保数据在多个系统中的一致性、可追溯性和可追溯性；支持AI和机器学习工作负载，通过Python和Spark构建特征数据集，使用AWS和Snowflake构建数据管道用于模型训练、批评分和分析工作负载；与云和后端团队共同参与云数据平台架构的演进。

≥4年数据工程/数据平台/ETL管道经验；使用Python和SQL进行数据转换和摄入流程；AWS数据服务（S3、Glue、Lambda、Step Functions、IAM）；Snowflake / Spark / Databricks分布式数据引擎；为分析、报告/AI工作负载建模数据；处理大规模数据集、批处理和增量加载；通过数据管道、特征数据集或分析平台支持AI/机器学习工作负载。