生成式AI与代理评估机器学习工程师

我们正在寻找一名具有生成式AI经验的机器学习工程师，设计和构建可扩展的评估基础设施，用于LLM和AI代理。您将架构分布式推理管道、结构化跟踪日志系统、工具调用验证框架和自动化评分引擎。该职位需要强的ML基础和工程严谨性。

强Python编程和系统设计技能，手把手经验生成式AI系统和LLM API，PyTorch或TensorFlow经验，生产级ML或生成式AI系统经验，解码策略、温度效应和采样方差的深入理解，异步处理、分布式任务执行或作业调度经验，Docker和云部署经验，强调试、可观测性和可靠性工程思维。

Pilotcrew AI为AI代理评估构建基础设施。我们基准测试大型语言模型，运行自动化代理评估，驱动人机交互评估，并举办AI竞技场进行竞争性测试。