跳转到主要内容

模型适配架构师(J10275)

Technology
江苏为恒智能科技有限公司
上海市, 中国¥15,000 - ¥40,000 /月1个月前
全职

职位描述

该职位来源于猎聘 职责描述: 1. 负责公司 AI 算力平台的大模型适配及推理性能优化,包括 Dense、MoE、Encoder/Decoder 等不同模型架构。 2. 负责 CUDA / 国产 GPU Kernel 的开发、移植和性能优化,重点优化 Attention、GEMM、MoE、通信等核心算子。 3. 基于 vLLM、SGLang、TensorRT-LLM 等推理框架进行模型适配、框架改造及调度优化。 4. 针对 NVIDIA GPU及国产 AI 芯片开展模型部署和性能优化,实现不同硬件平台上的高性能推理。 5. 分析 Prefill、Decode、KV Cache、显存、带宽及多卡通信瓶颈,并持续提升单卡及多卡吞吐和并发能力。 任职要求: 1. 本科及以上学历,计算机、电子、自动化等相关专业,具备扎实的 C/C++、Python 编程能力。 2. 熟悉 CUDA、GPU 架构及并行计算,能够独立进行 Kernel 性能分析、开发和优化。 3. 熟悉 Transformer、大模型推理流程,理解 Attention、MoE、KV Cache、量化及推理调度原理。 4. 熟悉 TP、PP、EP、PD 分离等多卡并行方案,具备 NCCL 或其他高速通信优化经验优先。 5. 有 vLLM、SGLang、TensorRT-LLM、FlashAttention、Triton 或国产 GPU 适配经验者优先。

Keywords
CUDAScigressPythonInterSystems CachéTritium

对这个职位感兴趣吗?