大模型推理框架工程师

任职要求

1. 计算机科学、信息工程、电子工程、机器人等专业本科及以上学历；
2. 具备扎实的编程能力，熟练使用 Python/C++ 进行开发；
3. 了解网络网关基本概念，能进行基础网络问题排查；
4. 熟悉 OpenAI 接口调用和集成开发；
5. 熟悉 sglang 、vLLM 等大模型推理系统，熟悉目前主流的大模型推理优化方法，如 pd 分离、分布式推理、投机采样等技术；
6. 熟悉容器技术，了解云平台技术者优先；
7. 具备良好的编程风格习惯、文档撰写能力、团队协作和沟通表达能力；
8. 有高性能计算、计算机体系结构背景，熟悉系统性能调优方式，了解计算访存底层硬件实现原理者为加分项。