Python开发工程师 - AI训练

工作模式：远程
合作形式：独立合同工
排班：全职或兼职合约
语言要求：英语流利

【岗位概述】
我们与领先的AI团队合作，以提升通用对话式AI系统的质量、实用性和可靠性。该项目主要聚焦于评估和改进AI系统在代码推理、生成编程解决方案以及用不同复杂度解释技术概念方面的表现。

该岗位将围绕编码和软件工程场景中AI生成回答的严格技术评估展开。

• 【主要工作内容】
• 评估大语言模型（LLM）对编码和软件工程问题的回答，从准确性、推理过程、清晰度和完整性等维度进行打分与评估
• 使用可信的公开资源和权威参考文献进行事实核查
• 通过实际运行代码并使用适当工具验证输出结果，进行准确性测试
• 对模型回答进行标注，识别其优点、改进空间以及事实或概念性错误
• 评估代码质量、可读性、算法合理性以及解释说明的质量
• 确保模型回答符合预期的对话行为及系统使用规范
• 按照清晰的分类体系、基准和详细评估指南，应用一致的评估标准

• 【成功标准】
• 能够识别模型生成代码、技术概念和系统设计讨论中的错误逻辑、低效实现、边界情况问题或具有误导性的解释
• 通过高质量反馈，提升AI在编码任务中的正确性、鲁棒性和表达清晰度
• 输出可复现的评估结果与工件，有助于持续增强模型性能

• 【任职要求】
• 计算机科学或密切相关领域的学士、硕士或博士学位
• 具备丰富的软件工程或相关技术岗位的实际工作经验
• 至少精通一种相关编程语言（如 Python、Java、C++、JavaScript、Go、Rust 等）
• 能够独立完成 HackerRank 或 LeetCode 中等和困难级别的题目
• 有参与知名开源项目的经验，并有已合并的 Pull Request
• 在编码过程中大量使用过大语言模型，对其优势及常见失败模式有较深入理解
• 细致认真，能够评估复杂技术推理，发现隐蔽的缺陷或逻辑漏洞

• 【加分项】
• 具有 RLHF（基于人类反馈的强化学习）、模型评估或数据标注相关经验
• 具备竞赛编程成绩或经验
• 有生产环境代码评审经验
• 熟悉多种编程范式或技术生态
• 有向非专业受众讲解复杂技术概念的经验