大模型推理框架工程师

工作内容

1. 负责模型接口调用功能开发集成；
2. 负责新模型适配上线、bugfix 、功能开发与算子集成；
3. 负责推理服务镜像的制作、更新与管理；
4. 负责大模型、图像以及视频场景单节点/服务的工程/算法性能的回归测试与压力测试；
5. 负责大模型、图像以及视频推理框架的开发以及优化。

任职要求

1. 计算机科学、信息工程、电子工程、机器人等专业本科及以上学历；
2. 具备扎实的编程能力，熟练使用 Python/C++ 进行开发；
3. 了解网络网关基本概念，能进行基础网络问题排查；
4. 熟悉 OpenAI 接口调用和集成开发；
5. 熟悉 sglang 、vLLM 等大模型推理系统，熟悉目前主流的大模型推理优化方法，如 pd 分离、分布式推理、投机采样等技术；
6. 熟悉容器技术，了解云平台技术者优先；
7. 具备良好的编程风格习惯、文档撰写能力、团队协作和沟通表达能力；
8. 有高性能计算、计算机体系结构背景，熟悉系统性能调优方式，了解计算访存底层硬件实现原理者为加分项。

员工福利

1. 具有竞争力的薪资；
2. 五险一金，节假日福利；
3. 良好的办公环境，轻松的办公氛围。

公司简介

Atlas Cloud （官网： https://www.atlascloud.ai ）是一家快速发展的 AI 基础设施初创公司，专注于模型即服务（ MaaS ）和基础设施即服务（ IaaS ）。 公司总部位于纽约，在硅谷、北京和加拿大卡尔加里设有团队，为全球客户提供 大语言模型（ LLM ）训练、微调与推理服务所需的 GPU 与云基础设施。 我们正在构建面向下一代 AI 应用的高性能计算平台。