FirstIgnite 在美国招聘 AI 评估工程师 | LinkedIn

我们帮助研究机构将突破转化为合作伙伴关系、许可和公司。我们的产品套件涵盖专家发现、奖项搜索和AI驱动的外呼——所有都建立在现代、代理型堆栈上。我们快速发布，我们测量一切，并相信评估是区分AI功能在演示和生产中有效性的差异。

3年以上工程经验，其中至少1年专注于LLM/ML评估、应用人工智能或数据质量系统。有LLM评估框架（Promptfoo、Braintrust、LangSmith、OpenAI Evals、DeepEval或等价的内部工具）的实践经验。熟悉LLM-as-judge方法论，包括其失败模式（位置偏差、 verbosity偏差、judge-model漂移）及如何缓解。统计素养——你了解真实回归与噪音的区别，并能设计能回答问题的实验。产品直觉。你可以在客户成功通话 transcript 中识别三个关键失败模式，并在一周内为每个失败模式发货评估。强大的书面沟通。评估在工程师发货功能时不可信或不阅读的情况下无用。