跳转到主要内容

大模型数据工程师(数仓与智能体方向)

Technology
米奥兰特国际会展
杭州-滨江区, 中国¥15,000 - ¥30,000 /月2个月前

职位描述

岗位职责 1、负责企业数据仓库的规划与建设,包括数据采集、清洗、建模、同步、存储及数据质量管理,能够完成从 ODS、DWD、DWS 到 ADS 的分层设计。 2、负责业务数据、客户数据、行为数据及第三方数据的整合,建设统一的数据资产、指标体系和数据标签体系,为业务分析和 AI 应用提供可靠的数据底座。 3、面向大模型和智能体应用建设数据管道,支持知识库、RAG、长期记忆、用户画像、工具调用及智能体评测等场景。 4、参与大模型预训练、继续预训练、SFT、偏好优化等工作,负责训练语料的采集、清洗、去重、分类、质量评估及数据集构建。 5、结合算法能力,对文本、表格、文档、图片等多模态数据进行处理,提升数据的结构化程度和模型可用性。 6、参与智能体的数据闭环建设,采集和分析智能体的对话、执行过程、工具调用及用户反馈,形成“使用—评测—问题发现—数据优化—模型迭代”的闭环。 7、建设大模型和智能体评测体系,围绕数据召回率、回答准确率、任务完成率、工具调用成功率及幻觉率等指标开展分析和优化。 8、负责大规模数据任务的性能与成本优化,提升数据处理、检索、训练和推理链路的稳定性与效率。 9、与产品、算法、后端及业务团队协作,将业务需求转化为数据方案和算法方案,推动相关能力在真实业务场景中落地。 任职要求 1、计算机、软件工程、人工智能、数学或相关专业,本科及以上学历。 2、具备扎实的数据开发经验,熟悉数仓建模、ETL/ELT、数据治理、数据质量及指标体系建设。 3、熟悉至少一种主流数据技术体系,如 Spark、Flink、Hive、MaxCompute、Kafka、ClickHouse、Elasticsearch/OpenSearch 等。 4、具备算法或机器学习背景,熟悉 Python、SQL,了解 PyTorch、Transformers 等训练框架。 5、参与过大模型预训练、继续预训练、SFT 或训练数据集建设,了解语料清洗、去重、质量打分和数据配比。 6、熟悉大模型及智能体基本原理,了解 RAG、Embedding、向量数据库、Function Calling、MCP、记忆系统及多智能体协作。 7、具备较强的数据敏感度和业务理解能力,能够独立完成从数据分析、方案设计到工程落地的全过程。 8、有企业级智能体、客户数据平台、知识库、推荐搜索或外贸数据项目经验者优先。

Keywords
3-5年ClickHousePyTorchApache KafkaApache SparkOpenSearchElasticsearchPythonSqlHive

对这个职位感兴趣吗?