职位描述

我们是一个远程优先的团队，分布在欧洲和北美，每月会面3天，每年两次更长的离线会议。我们的研发和生产团队是研究和工程导向的混合，但每个人都深深关心我们构建系统的质量，并有深厚的软件开发基础。我们相信良好的工程导致更快的开发迭代，这使我们能够累积努力。您将参与我们的强化学习团队，专注于通过强化学习提高大型语言模型的推理和编码能力。这是一个动手的角色，您将从研究新的探索或训练算法开始，到设计和扩展RL环境，再到跨栈实施您的想法。您将拥有该团队中数千块GPU的访问权限。您的任务是通过强化学习推动基础模型推理和编码能力的前沿。责任包括：研究和实验改进LLM的推理和代码生成。拥有从想法到实验和整合的完整实验生命周期。保持最新研究，熟悉LLM、RL和代码生成的现状。将研究想法转化为干净、可重用的代码库，供其他研究人员使用。设计、分析和迭代LLM的数据生成和训练。实施和迭代可跨领域可靠扩展的RL训练管道。诊断训练不稳定性和故障，调试RL运行并提出缓解方法。编写高质量、可重复和可维护的代码。

任职要求

经验：大型语言模型（LLM），包括：Transformer架构和扩展定律的理解；中训练和后训练技术；训练推理和/或代理模型的经验；手头使用LLM，了解其能力和限制。强化学习经验：扎实掌握强化学习概念，熟悉现代算法；有开发分布式、大规模RL管道的经验，从数据创建到评估。研究经验：在强化学习、LLM和推理模型中的科学出版物；能够与足够详细水平讨论最新研究；有合理意见。工程技能：强大的机器学习、算法技能和工程背景；分布式训练经验；出色的Python编程技能；熟悉深度学习框架（Pytorch或JAX）。