数据科学家

负责设计和实施端到端的评估框架以评估多智能体AI系统的性能、可靠性及安全性；主导实验和A/B测试工作，系统性测试假设、验证模型改进并跟踪性能；维护高质量地面真实数据集以确保评估的准确性；识别并解决智能体工作流中的可靠性与准确性缺口；持续跟进多智能体AI、大语言模型评估及多智能体协调领域的前沿研究以改进框架设计。技术要求包括Python及机器学习框架熟练度、LLM API及智能体框架（LangChain、LlamaIndex、Semetic KernalI）经验、熟悉评估工具（Ragas、DeepEval、LangSmith等）、数据管道、实验跟踪（MLflow、W&B）及CI/CD流程经验、统计学、NLP、提示工程、实验设计及A/B测试方法论基础、Azure ML、Azure OpenAI Service及Azure AI Foundry部署经验、熟悉Azure Monitor及Application Insights用于跟踪智能体系统可靠性及性能。

精通Python及机器学习框架；具备LLM API及智能体框架（LangChain、LlamaIndex、Semetic KernalI）经验；熟悉评估工具（Ragas、DeepEval、LangSmith等）；具备数据管道、实验跟踪（MLflow、W&B）及CI/CD流程经验；具备统计学、NLP、提示工程、实验设计及A/B测试方法论基础；精通Azure ML、Azure OpenAI Service及Azure AI Foundry部署；熟悉Azure Monitor及Application Insights用于跟踪智能体系统可靠性及性能。