AI框架与模型部署工程师

该职位来源于猎聘 职位描述

• 负责将主流开源大模型（DeepSeek / LLaMA / Qwen / ChatGLM 等）及小模型（ResNet50、BERT-Base/Large、YOLOv5/v8、Stable Diffusion 等）快速迁移并高效部署到公司自研 AI 芯片与板卡上；
• 基于自研 AI 编译器（含图优化、算子自动生成、低比特量化、内存调度、流水并行等）完成模型端到端编译；
• 基于精度分析工具分析定位分析精度损失点；
• 分析和优化模型在芯片上的性能瓶颈（计算、访存、带宽等），并实施优化策略以提升性能；
• 开发和维护相关的模型转换、调试、精度和性能分析工具，支持内部和客户的高效开发与部署；
• 跟踪 LLM 推理前沿技术（PagedAttention、Speculative Decoding、Continuous Batching、MoE offloading 等），输出性能 Benchmark 与落地方案

必备条件

• 计算机/电子/自动化相关专业，本科及以上学历，有AI 框架或编译器开发经验；
• 深入掌握至少一种 AI 框架源码（PyTorch 2.x、TensorRT、ONNX Runtime、TVM、MLIR、XLA）；
• 熟悉 GPU/NPU 体系结构，理解 Tensor Core / Matrix Core / Systolic Array 原理，能用 PTX/SASS 或 NPU 汇编做性能剖析；
• 具备大模型分布式推理/训练经验：DeepSpeed、Megatron-LM、Colossal-AI、vLLM 等；
• 熟练掌握 C++/Python，具备 CUDA / OpenCL / Triton / HIP / SPIR-V 中至少一种内核开发经验；
• 熟悉常用 CV/NLP 模型结构及算子分解，能独立搭建 ResNet50/BERT-Large/Stable Diffusion 全链路 Demo；
• 具备强烈的性能优化意识，能用 NSight/Perfetto/自研 Profiler 进行 Roofline 分析，定位瓶颈并给出 2× 以上提升方案。

加分项

• 有 LLM 量化、稀疏化、MoE 结构落地经验；
• 参与过 AI 编译器前端（TorchScript/FX、ONNX、MHLO、StableHLO）或后端（LLVM、MLIR Dialect）开发；
• 熟悉 RISC-V Vector Extension 或自研 ISA 指令集