负责在在NVIDIA、昇腾等芯片上进行多模态（视觉、语音、文本、传感器融合等）及全模态大模型的端云侧部署、优化与集成，包括模型量化（INT8/INT4）、剪枝、蒸馏、算子融合、NPU/GPU异构调度，确保实时性、低功耗和高精度。 2. 打通模型与前端应用的全链路：模型推理结果与前端UI实时交互、多模态输入输出融合（如语音+视觉+触控）、异常处理与保活机制，确保在车载复杂场景下的稳定性与安全性。 - 提供 C++/Python 接口供上层应用调用，封装模型加载、预处理、推理、后处理全流程。 - 开发性能 Profiler、日志追踪、模型热更新等调试支持工具。 3. 参与AI加速器（NPU）驱动适配、性能瓶颈分析与优化，配合硬件团队进行芯片前向评估与调优。 - 与算法团队共同设计适合端侧部署的轻量化模型结构（如 MoE 裁剪、KV Cache 压缩）。 4. 跟踪多模态大模型端、云部署及前端应用最新技术（如LLaVA、Qwen-VL、GPT-4o mini端侧版、MoE、Speculative Decoding、Streaming SSR等），并在项目中落地验证。 5. 编写技术文档、性能报告，参与跨团队（算法、硬件、前端、测试）协作，支持从原型到量产的全流程。

AI平台研发模型部署

相关