Python开发工程师 - AI训练

【工作模式】
- 远程

【合作类型】
- 独立承包（Independent Contractor）

【时间安排】
- 全职或兼职合约

【语言要求】
- 英语流利

【职位概述】
我们与领先的AI团队合作，致力于提升通用对话式AI系统的质量、实用性和可靠性。本项目重点关注评估和改进AI在代码推理、生成编程解决方案，以及在不同复杂度下解释技术概念方面的能力。

该角色主要负责对AI在编码和软件工程场景下生成的回答进行严格的技术评估。

• 【主要工作内容】
• 评估大语言模型（LLM）对编码及软件工程相关问题的回答，从准确性、推理过程、清晰度和完整性等维度进行打分和分析
• 使用可信的公开来源和权威参考资料进行事实核查
• 通过实际运行代码、验证输出结果等方式进行准确性测试
• 对模型回答进行标注，指出其优点、可改进之处以及事实或概念上的错误
• 评估代码质量、可读性、算法合理性以及解释说明的质量
• 确保模型回答符合预期的对话行为和系统指南
• 按照既定的分类体系、基准和详细评估指南，应用一致的评估标准

• 【成功表现】
• 能够识别模型生成的代码、技术概念及系统设计讨论中的错误逻辑、低效实现、边界情况问题或具有误导性的解释
• 你的反馈可以提升AI编码输出的正确性、健壮性和清晰度
• 能够产出可复现的评估记录与成果，帮助持续提升模型性能

• 【任职要求】
• 计算机科学或密切相关专业的学士/硕士/博士学位
• 在软件工程或相关技术岗位有丰富的实际工作经验
• 至少精通一门相关编程语言（如 Python、Java、C++、JavaScript、Go、Rust 等）
• 能够独立完成 HackerRank 或 LeetCode 中等和困难级别题目
• 有为知名开源项目贡献代码的经验（包括已合并的 Pull Request）
• 在编码过程中大量使用过大语言模型，对其优势和常见失效模式有深入理解
• 具备高度的细节关注能力，能够评估复杂技术推理并识别隐蔽的缺陷或逻辑问题

• 【加分项】
• 有 RLHF（基于人类反馈的强化学习）、模型评估或数据标注相关经验
• 有竞赛编程经历和成绩
• 有在生产环境中进行代码评审（Code Review）的经验
• 熟悉多种编程范式或技术生态
• 有向非技术受众解释复杂技术概念的经验