机器学习工程师，评估

软件已经进入了一个时代，人类和 AI 并肩工作。随着这一转变的加速，强技术人才的定义正在改变。我们给公司提供更好的方法来识别和投资于下一代技能。

People at HackerRank 深深关注他们的工作的影响，并在细节上努力，使客户能够以他们真正喜爱的产品取得巨大成功。我们以紧迫感行事，并相信伟大的结果来自于高标准。

关于这个职位：如何评估开发者以前是他们是否能写出功能正确的代码。现在，如何评估开发者是他们是否能利用 AI 完成任务，同时仍然有基础技能。这种转变，即以前和现在之间的问题，正是这个职位要解决的问题。

开放性问题：如何在 AI 已经在场的情况下衡量技能？

软件工程已经从写代码转变为使用 AI 解决问题。这种转变听起来简单。对评估的影响却不是。这不仅仅是家庭作业问题。它涵盖了现场面试、异步评估、AI 辅助编码环境、配对编程与代理，以及所有其他情境中有人试图确定开发者实际能力的场景。开发者使用的工具正在快速变化。用于评估的框架却未跟上。

对于十年来，基于技能的招聘依赖于确定性评估：候选人的代码要么通过测试用例，要么不通过。分数是二元的且可重复的。现在取代它的是真正未解决的问题。没有人已经破解如何公平评估人类技能在一个 AI 协助无处不在的世界中。问题不再是“你能写这个函数”而是“你如何有效地使用 AI 解决实际问题。”

HackerRank 位于这个问题的中心，拥有罕见的规模、纵向数据和与制定招聘决策公司的直接关系。这里的机遇是定义在代理时代什么是严格、公平且有意义的技能评估。这种方法目前还不存在。这个职位存在以构建它。

你将做些什么

• 构建基于 LLM 的评估流水线，以一致、公平且在生产规模上评估 AI 使用技能。
• 全面负责评估方法的端到端——评估的规则是什么，模型如何应用它，如何衡量是否正确应用，以及如何审计偏见。
• 设计并运行实验以确定什么是好的评估。答案尚不明确。你将发现它。
• 构建 RAG 流水线和微调工作流程，使评估模型可靠地遵循我们设定的规则。
• 定义基准测试基础设施：我们如何知道我们的评估质量提高了，以及如何在候选人在之前就检测到退化。
• 将模型行为转化为产品管理人员、企业客户和候选人都能理解和信任的成果。

你是谁

• 你已经发布了生产中的 LLM 系统，其中一致性和可靠性是硬约束，而不是锦上添花。
• 你以同样严谨的方式思考你如何衡量你的模型，如同你如何衡量模型本身。一个 poorly 构造的评估是比一个较弱的模型更糟糕的结果。
• 你有研究心态。你在一个领域中运作，其中正确的做法尚不存在，需要被发明。
• 你思考系统。数据流水线、模型、服务层和它强制执行的规则是同一个问题。
• 你能用平白的语言为非 ML 工程师辩护 ML 判断，因为翻译层是这份工作的一部分。

更好的是如果你有

• 经验构建生成式或对话式 AI 系统的评估框架。
• 在教育评估、心理测量或大规模人类在环评估中的背景。
• 在 LLM 评估、基准测试或对齐方面的出版物或开源贡献。
• 在研究和产品接口处的先前工作，其中你必须发布科学，而不是仅仅发表它。

你将在这里茁壮成长如果

• 你发现测量问题比模型问题更有趣，可能更多。
• 你将评估方法与模型性能保持同等标准，并且你不愿意发布你无法解释的东西。
• 你希望你的工作定义在刚刚意识到这一点的领域中什么是好的样子。

你已经发布了生产中的 LLM 系统，其中一致性和可靠性是硬约束，而不是锦上添花。
你以同样严谨的方式思考你如何衡量你的模型，如同你如何衡量模型本身。一个 poorly 构造的评估是比一个较弱的模型更糟糕的结果。
你有研究心态。你在一个领域中运作，其中正确的做法尚不存在，需要被发明。
你思考系统。数据流水线、模型、服务层和它强制执行的规则是同一个问题。
你能用平白的语言为非 ML 工程师辩护 ML 判断，因为翻译层是这份工作的一部分。

更好的是如果你有

• 经验构建生成式或对话式 AI 系统的评估框架。
• 在教育评估、心理测量或大规模人类在环评估中的背景。
• 在 LLM 评估、基准测试或对齐方面的出版物或开源贡献。
• 在研究和产品接口处的先前工作，其中你必须发布科学，而不是仅仅发表它。

HackerRank 帮助像 NVIDIA、Amazon 和 Microsoft 这样的公司根据技能而非学历来招聘和提升下一代开发者。我们的平台受到全球最创新公司的信任，能够构建强大的工程团队来迎接未来。