软件架构师
Other
上海市, 中国¥30,000 - ¥50,000 /月2周前
全职
职位描述
该职位来源于猎聘 核心定位: 衔接公司软硬件研发与头部互联网客户需求的关键枢纽,推动公司产品在关键客户场景高效落地,构建软、硬件解决方案竞争力。 岗位职责: 1、从业界前沿客户对大模型训练(预训练/SFT/RL)以及推理的业务需求出发,拆分对AI引擎/框架,算子库/通信库,AI编译器以及runtime等全栈软件实现的工程要求,推动软件方案的市场竞争力不断优化。 2、基于公司现有各类软硬件模拟器,以及业界前沿模型迭代趋势/互联网中台高效运营部署要求,分析当前产品方案的优劣势,同时助力下一代芯片以及系统方案设计。 任职要求: 计算机或数学相关专业本科及以上学历,2年以上高性能计算或AI Infra工程经验。 有大模型训练框架或推理引擎开发、性能优化相关经历,具备以下1项或多项能力:
深入理解KV Cache管理、MTP等推理加速技术,有实际生产环境调优经验。
熟悉Megatron-LM、DeepSpeed、FSDP等分布式训练框架,掌握TP/PP/DP/EP等并行策略的调优方法;
熟悉强化学习训练流程与PPO、GRPO等主流算法原理,具备至少一个RL训练框架(veRL、SLIME)开发经验;
深入理解主流大模型结构差异,能够针对性设计相关推理/训练优化方案。 加分项 为vLLM、SGlang、veRL等开源项目贡献过关键代码; 有AI agent相关领域的强化学习Infra开发经验; 熟悉Triton/Cuda算子开发或AI编译器开发,能针对业界前沿模型的训练/推理流程,做相关算子优化。
Keywords
DeepSpeedSLIME
对这个职位感兴趣吗?