算法工程师（VLM 视觉微调方向）

该职位来源于猎聘 岗位职责 1、面向视觉理解问题做 VLM 微调与图文对齐：基于 Qwen-VL、InternVL 等基座微调，改善幻觉、图文不一致、细粒度识别差等问题。 2、多模态数据建设与治理：负责图文、视觉推理、细粒度识别数据采集清洗、标注规范、合成与蒸馏，搭建质检机制，控制图像与标注噪声。 3、搭建 VLM 评测体系：构建自动 + 人工评测，覆盖识别、图文一致性、幻觉、指令遵循、安全等维度，依托评测与线上坏例驱动模型迭代。 4、优化 VLM 微调工作流：在 8 卡集群调优分布式策略、显存、视觉编码器、重计算方案，保障 LoRA/QLoRA 微调稳定高效收敛。 5、轻量化模型压缩（拓展）：开展多模态模型蒸馏、量化、剪枝，平衡效果、体积与时延，支撑端侧 / 边缘部署。 6、业务落地与协同：联动产品、Agent 团队推进方案上线，建立视觉坏例监控与数据回流闭环。 任职要求 1、本科及以上学历，计算机、人工智能、自动化、数学等相关专业。 2、扎实的深度学习、计算机视觉 + 多模态基础，理解 Transformer、视觉编码器、图文交互机制；熟悉 SFT，了解 DPO/GRPO 等偏好对齐方案，有对齐落地经验优先。 3、熟练Python、PyTorch；熟悉 HuggingFace、TRL、DeepSpeed、vLLM 等训练推理框架，能够独立开发、调试多模态微调脚本。 4、具备完整项目闭环能力：独立完成多模态数据准备 → VLM 微调 → 视觉专项评测 → 问题迭代，有生产级模型落地经验。 5、满足以下条件者优先： （1）有 Qwen-VL / InternVL / LLaVA 等主流 VLM 的视觉侧微调、图文对齐项目经验，深度分析处理过VLM 幻觉、细粒度视觉理解、OCR、空间推理等问题。 （2）熟悉多模态 LoRA/QLoRA 微调，掌握模型蒸馏、量化、剪枝等轻量化手段，有 VLM 小模型压缩、端侧推理适配经验。 （3）有面向 Agent 场景的视觉对齐、视觉工具调用微调经验优先。