数据工程师 – 知识AI团队

我们正在寻找一位经验丰富的数据工程师加入我们的知识AI（KAI）团队，专注于构建可扩展的数据基础设施用于AI和NLP驱动的产品。在该职位中，您将负责设计、构建和维护稳健的数据管道和架构，以支持大规模结构化和非结构化数据集的处理和分析。您将与AI/ML工程师紧密合作，支持由NLP、大型语言模型（LLMs）和高级分析驱动的数据密集型解决方案的开发和部署。关键职责包括：设计、构建和维护可扩展的数据管道用于大规模结构化和非结构化数据集的摄入、转换和处理；开发和优化ETL/ELT工作流用于数据清洗、规范化、丰富和版本控制；管理并优化数据存储解决方案，包括数据湖、数据仓库和向量数据库；与AI/ML团队合作确保高效的数据访问用于模型训练和推断；实施数据质量、验证和监控流程以确保可靠性和一致性；优化数据工作流以提高性能、可扩展性和成本效率；构建和维护数据API和服务以实现跨团队的数据访问；使用Docker和Kubernetes（K8S）构建可扩展的数据处理环境；排查数据相关生产问题并提高系统可靠性；清晰文档数据架构、管道和流程。

强大的Python数据工程经验（例如Pandas、PySpark）；高级SQL知识和大规模数据处理经验；对数据建模、数据仓库和数据湖架构的深入理解；有ETL/ELT流程和数据管道编排工具（如Airflow）的实际经验；有在云平台（首选MS Azure）工作经历；熟悉大数据技术（如Spark、分布式系统）是加分项；有非结构化数据处理（文本、多模态数据）经验是高度 desirable；了解NLP/LLM工作流和AI模型的数据准备是加分项；有Docker和Kubernetes实战经验；有向量数据库经验是加分项；了解数据治理、安全性和最佳实践。

参与前沿AI、NLP和数据工程项目；成为高技能且协作的团队成员；构建直接推动有影响力的AI解决方案的数据系统；有机会工作于大规模、复杂的数据集和现代技术。

Gini Talent是一家专注于人工智能和大数据领域的科技公司，致力于通过创新的数据解决方案推动行业变革。