Xiaoyan Hu
I work on multimodal representation learning, focusing on cross-modal alignment and embedding models for image-text retrieval.
人才
Shanghai加入时间 2026年4月17日
多模态检索与表示学习VLM / Embedding架构设计训练优化（Hard Negative/蒸馏）视频理解与时序建模大规模数据构建PyTorch分布式训练与部署计算机视觉自监督学习计算摄影学
·
聘用此人
直接向此候选人发送职位邀请
多模态检索与表示学习VLM / Embedding架构设计训练优化（Hard Negative/蒸馏）视频理解与时序建模大规模数据构建
工作经历
算法研究员 at 商汤 (2022-07 – Present)
从事多模态检索、视频理解和计算机视觉相关研究工作
- 安防场景多模态检索系统建设（2023.11 至今）：从0到1参与系统构建，主导Image-Text Embedding模型多版本迭代，相比预训练基线mAP提升+17.4%
- 小模型对标大模型效果：在~200M参数规模下，对标8B级模型，实现效果持平甚至超越主流开源模型
- 难负样本建模（Hard Negative Mining）：引入image-level hard negative + ranking loss，显著提升复杂检索场景表现
- 蒸馏体系设计（Distillation）：构建多Teacher+三重蒸馏策略，在仅1/3参数量下逼近Large模型效果
- 稳定训练范式设计：通过冻结logit-scale与视觉编码器，保证新能力引入同时维持通用能力不退化
- 数据生产与闭环构建：搭建AI驱动数据生产链路，累计构建千万级高质量图文对数据集
- VLM Embedding架构升级：基于VLM架构生成统一embedding，提升跨模态表达能力，使用双向注意力+均值池化替代last-token表达
- 打架行为预警系统（2024）：基于市区监控数据构建打架事件自动预警系统，项目获得2024年度公司最高团队奖，系统已在全市范围部署
- Video-Text检索建模：负责Video-Text Embedding模型训练与部署，实现自动告警功能
- 视频多模态模型架构设计：设计Shikra-Video-Embedding架构，实现视频输入建模，误报率从52.4%降至24.9%
- 人体ReID项目（2022.07-2023.05）：优化人体检测模型mAP+13.5%，基于蒸馏优化ReID模型avg mAP+1.74%，构建1亿级人体数据
见习研究员 at 商汤 (2021-06 – 2022-03)
针对车辆重识别任务进行模型优化和改进
- 针对车辆重识别任务，改进MoCo-v2数据增强与温度系数，预训练提升2.3%
- 针对MoCo-v2模型忽视重识别任务中重要的类内类间关系的问题，探索基于聚类伪标签的对比学习，强化类间关系建模
算法实习生 at 百度 (2020-10 – 2021-03)
研究多模态和自监督预训练在商品识别中的应用
- 研究多模态/自监督预训练在商品识别中的应用
- 提出图像自监督+图文有监督双分支预训练方案
教育背景
硕士 in 计算机技术 – 北京邮电大学 (2019-09 – 2022-06)
本科 in 计算机科学与技术 – 北京邮电大学 (2015-09 – 2019-06)
技能
I work on multimodal representation learning
