FirstIgnite 正在招聘 AI 评估工程师

我们正在寻找一名 AI 评估工程师，负责所有 LLM 驱动功能的质量标准。您将设计、构建和扩展基础设施，以证明更改提示、模型切换或代理重构是否使事情更好或更差。此角色具有高影响力。FirstIgnite 的每个面向客户 AI 功能都通过您的评估。您将直接与工程总监合作，并与产品、应用 AI 和全栈团队紧密合作，以在公司内建立评估作为第一类学科。

您将负责

• 构建评估基础设施：设计和维护使用 Promptfoo、LLM-as-judge 方法论和自定义 harnesses 的评估套件，用于专家搜索系统、自然语言授予搜索和 AI SDR 代理。
• 定义什么是‘好’：与产品和领域专家合作，将模糊的客户结果（如‘这是否展示了正确的首席研究员？’）转化为精确的、可衡量的评分标准。
• 拥有反馈循环：对生产流量进行仪器化，从真实客户互动中整理黄金数据集，并构建将用户行为转化为回归测试的管道。
• 在不确定的情况下快速交付：我们经常为绿田特征运行 48 小时的评估冲刺，没有任何生产流量。您将感到舒适地从零开始构建质量信号。
• 模型和提示评估：在模型（OpenAI、Anthropic、open-weight）、提示策略和代理架构之间运行严格的 A/B 比较。量化成本、延迟和质量之间的权衡。
• 代理评估：帮助我们测量基于 OpenAI Agents SDK、Vercel AI SDK 和 Temporal Cloud 构建的多步骤代理行为，包括工具使用正确性、轨迹质量和端到端任务完成。
• 提高团队的基准：创建模板、文档和工具，使每个工程师都能在正常开发中编写和运行评估。评估应感觉像单元测试一样自然。

• 3 年以上的工程经验，其中至少 1 年专注于 LLM/ML 评估、应用 AI 或数据质量系统。
• 熟练使用 LLM 评估框架 — Promptfoo、Braintrust、LangSmith、OpenAI Evals、DeepEval 或等效的内部工具。
• 对 LLM-as-judge 方法论有深刻理解，包括其失败模式（位置偏倚、 verbosity 偏倚、判断模型漂移）以及如何缓解这些偏倚。
• 统计素养 — 你明白真实回归和噪音的区别，并且可以设计能够回答实际问题的实验。
• 产品直觉。你可以与客户成功会议的 transcript 对话，识别三个关键失败模式，并在一周内为每个失败模式发货评估。
• 强大的书面沟通能力。评估对工程师来说无用，如果他们不信任或阅读结果。

FirstIgnite 是一家专注于大学技术转移办公室（TTO）的 AI 驱动的商业开发平台。我们帮助研究机构将突破转化为合作伙伴关系、许可和公司。我们的产品套件涵盖专家发现、奖项搜索和 AI 驱动的外呼 — 所有都基于现代代理栈。