大模型部署与系统性能架构师(端侧 NPU 方向)
深圳问道以芯科技有限公司职位描述
岗位职责: 1.大模型 → NPU 部署通路(核心) ·负责 PyTorch / ONNX 模型到自研 NPU(NNAC 工具链)的端到端部署:图拆分、算子映射、量化(W4A16 / W8)、tiling、codegen、Runtime 执行。 ·与 NNAC 编译器团队共同定义 auto 双图拆分、算子融合、TP/EP 混合切分 + all-reduce / all-to-all 插入 的接口与验证方法。 ·主导 MoE(8 expert top-2,10B 总量) 与稠密 7B/8B 模型在 E4/E8 双 SKU 上的部署验证,对齐报告中的 decode 吞吐、TTFT、功耗指标。 2.系统性能建模(核心) ·建立大模型在 NPU 上的性能模型:decode 吞吐(有效带宽 × 压缩比)、TTFT(prefill 有效算力 70–80%)、Logic-Die 交换机 all-reduce / all-to-all 延迟预算。 ·用实测数据校准模型,输出「模型 → 算子 → NPU 资源」的量化映射,支撑硬件规格行性判断与优化建议。 ·为 prefix caching(Radix Tree)、投机采样(draft 1.5B + verify 8B,v2) 的调度机制提供性能建模与 KV 事务语义(checkpoint / commit / rollback)的验证。 3.NPU Kernel 与 Runtime 桥接 ·定义并实现 NPU Kernel 的部署规范:TP/EP 切分、all-reduce/all-to-all、MoE 路由、lm_head 上 NPU、KV cache 布局(prefill/decode 统一)。 ·与 BSP/驱动/Firmware 团队协作,打通 Runtime 侧 的模型加载、图切换(draft_token.nnx / verify.nnx / target_token.nnx)、内存与 KV 管理。 ·参与 MetaWare / SDK 类工具链的选型、适配与二次开发,确保模型部署路径可复现、可调试、可交付客户。 4.流程与框架搭建(0 → 1) ·制定 大模型部署 SOP:模型接入 → 图转换 → 量化 → 切分 → 性能建模 → FM 验证 → 回片 bring-up。 ·定义 跨团队接口:与 NNAC 编译器、NPU Kernel、Logic-Die RTL、量化算法、系统性能建模团队的交付物与验收标准。 ·输出技术文档与培训材料,为后续招聘的工程师(NNAC 编译器、NPU Kernel、量化/模型算法等 23–34 人)提供上手基础。 任职要求: 必备技能: 1.5年以上 大模型部署 / 推理优化 / 系统性能建模 经验,有端侧或边缘 NPU/GPU 落地案例。 2.精通 PyTorch、ONNX,熟悉模型图转换、算子融合、量化(W4A16 / W8 / group-wise)与精度对齐。 3.熟悉 NPU Kernel 开发与 Runtime 执行,理解 tiling、codegen、内存层次、KV cache 管理。 4.有系统性能建模能力:能建立 decode 吞吐、TTFT、带宽/算力/功耗的量化模型,并用实测校准。 5.熟悉 MetaWare / SDK 类工具链,或有同类 NPU 工具链(如 CUDA、ROCm、OpenVINO、TensorRT、TVM、MLIR)深度使用经验。 6.能独立搭建部署流程与框架,具备 0 → 1 的工程落地能力。 加分项: 1.有 MoE(Expert-Parallel、all-to-all 路由) 部署经验。 2.有 TP(Tensor-Parallel、all-reduce) 多 Die/多卡部署经验。 3.熟悉 投机采样(speculative decoding) 与 prefix caching(Radix Tree) 机制。 4.有 UCIe / 2.5D 封装 / 多 Die一致性相关经验。 5.有 机器人 / 边缘盒 / 低功耗边缘服务器 场景落地经验。 6.熟悉模态模型的视觉 encoder 部署。 软技能: 1.能在模糊需求下定义问题、拆解任务、输出可执行方案。 2.跨团队沟通能力强,能与编译器、RTL、算法、系统团队高效协作。 3.具备技术领导力,能为后续团队扩张制定标准与培养路径。
对这个职位感兴趣吗?