跳转到主要内容

大模型应用交付工程师(影像agent/3年+)

Technology
联众医疗
杭州-上城区, 中国¥12,000 - ¥20,000 /月1个月前

职位描述

侧重大模型应用交付,医疗业务背景优先 男女不限、统招本科以上、厂商直招正式岗位、3—5年 【岗位职责】 1. 在现有 GPU 算力环境下,使用 Docker/Docker‑Compose、vLLM 完成开源大模型私有化部署、推理服务调优,保障服务稳定可用。 2. 完成推理服务、RAG 知识库、Agent 应用的性能压测,输出压测报告,定位 TTFT、吞吐量、显存、并发瓶颈,给出线上 SLA 与并发上限。 3. 搭建业务评测数据集,通过 LLM‑as‑judge 人工抽样,做 RAG、Agent 的精度评测,量化幻觉率、召回率、任务完成率,驱动效果迭代优化。 4. 生产级 RAG 知识库落地:文档解析清洗、分块策略、向量库调优、知识库增量更新、脏数据与知识冲突治理。 5. 基于 LangGraph 做企业可控 Agent 编排,集成业务工具 API,实现重试、熔断、超时降级,解决工具调用异常、循环发散等生产问题。 6. 对接业务系统 API,输出部署手册、运维手册、压测 & 评测报告,保障项目上线稳定运行,线上问题分层定位排查。 【任职资格】 1. 3‑5 年开发经验,Python 为主;有私有化大模型项目上线实战经验,不接受仅本地 Demo 项目。 2. 熟练 Docker 容器化部署,熟悉 vLLM 推理调优,踩过显存溢出、请求排队、并发不稳定线上问题。 3. 完整 RAG 项目落地经验,熟悉 Milvus 等向量库,懂检索、重排、知识库治理。 4. 有 Agent 生产落地经验,理解工具调用、任务规划,做过异常、降级处理。 5. 实际做过大模型链路压测,了解 TTFT、TPOT、吞吐量等指标;接触过 LLM‑as‑judge 效果评测。 6. 具备故障分层排查能力:能区分底座推理、向量检索、Agent 编排、外部工具哪一层出问题。

Keywords
3-5年PythonDocker

对这个职位感兴趣吗?