Python软件工程师 - AI训练

【工作模式】
- 远程

【合作形式】
- 独立承包（Independent Contractor）

【工作时间】
- 全职或兼职合约

【语言要求】
- 英语流利

【岗位概述】
我们与领先的人工智能团队合作，提升通用对话式AI系统的质量、实用性和可靠性，尤其是在编程与软件工程相关的场景中。本项目重点在于评估和改进AI系统在代码推理、生成编程解决方案以及用不同复杂度解释技术概念方面的表现。

该岗位将围绕对AI在编码和软件工程场景下生成的回答进行严格的技术评估。

• 【工作内容】
• 评估大语言模型（LLM）对编码和软件工程问题的回答，从准确性、推理过程、清晰度和完整性等维度进行打分与评价
• 使用可信的公开资料和权威参考文献进行事实核查
• 通过运行代码、验证输出结果等方式进行准确性测试，使用合适的工具辅助验证
• 为模型回答添加标注，识别其优点、可改进之处，以及事实或概念方面的错误
• 评估代码质量、可读性、算法合理性以及解释的严谨性与易懂程度
• 确保模型回答符合预期的对话行为和系统使用规范
• 依据明确的分类标准、基准测试和详细评估指南，持续保持评价尺度的一致性

• 【成功表现】
• 能够识别模型生成代码、技术概念说明和系统设计讨论中的错误逻辑、低效实现、边界情况问题或具有误导性的解释
• 通过高质量反馈，提升AI在编码输出方面的正确性、健壮性和清晰度
• 产出可复现的评估结果与文档，持续推动模型性能的提升

• 【任职要求】
• 计算机科学或密切相关专业的学士/硕士/博士学位
• 具有丰富的软件工程或相关技术岗位的实际工作经验
• 至少精通一门相关编程语言（如 Python、Java、C++、JavaScript、Go、Rust 等）
• 能够独立完成 HackerRank 或 LeetCode 中等和困难难度的题目
• 有参与知名开源项目并被合并的 Pull Request 记录
• 在编码过程中大量使用过大语言模型，对其优势与典型失败模式有深入理解
• 细致严谨，能够评估复杂技术推理过程，发现隐蔽的缺陷或逻辑错误

• 【加分项】
• 具备 RLHF（基于人类反馈的强化学习）、模型评估或数据标注相关经验
• 具备算法竞赛或竞赛编程的优秀战绩
• 有在生产环境中进行代码 Review 的经验
• 熟悉多种编程范式或技术生态
• 有向非专业受众解释复杂技术概念的经验