资深JAVA工程师,市场与交易数据,流动性平台
职位描述
关于团队
你将加入负责公司核心交易数据平台建设的团队,支撑全公司公开市场数据和自营交易数据平台的建设。我们从全球加密货币交易所捕获高吞吐量数据,接入内部交易台和系统的交易事件,并为交易、量化、研究及分析团队提供可靠的实时与历史数据产品。
准确性、可靠性和及时性至关重要:该平台直接支撑实盘交易、风控、研究和报表业务。我们正在寻找一位具备实操经验的资深市场与交易数据工程师(Java),从数据接入、规范化到流处理、存储、访问服务及其运行基础设施,进行全链路的端到端建设与运维。
岗位职责
-
建设并运营两大核心数据领域的高吞吐量数据管道:
-
公开市场数据: 通过交易所 REST 和 WebSocket API 获取成交(trades)、最佳买卖价(BBO)、行情(tickers)、资金费率(funding)以及 L2/全量订单簿(order-book)数据。
-
自营交易数据: 通过 Kafka 及内部系统集成传输的订单(orders)、成交(fills)、持仓(positions)、余额(balances)、风控(risk)及其他交易台/系统事件。
-
-
开发并维护用于公开市场数据和自营交易数据的高吞吐量 Java 数据管道与平台服务,涵盖源端接入、解析、规范化、定序、校验、恢复、存储及数据访问,重点关注正确性、可靠性与高性能。
-
负责新交易平台与内部数据源的接入。妥善处理交易平台 Data Feed 的实际复杂情况(如身份验证、频率限制、断连、重新订阅、快照与增量对比、协议变更等),以及自营数据的契约管理、模式演进(schema evolution)、对账和访问控制。
-
在现有及目标平台上建设并运营实时与历史数据通路——包括用于事件传输的 Chronicle Queue 和 Kafka、用于业务及热数据的关系型/时序数据库,以及用于历史和分析访问的 Apache Iceberg/Parquet 和 ClickHouse;主导数据模式设计、分片/分区、保留策略及查询性能优化。
-
构建并运营数据访问服务与 API,包括路由、服务发现、高可用与故障转移、自营数据的权限认证,以及下游客户端的兼容性保障。
-
参与 On-call 值班并响应 PagerDuty 告警事件;通过监控、告警、容量管理、数据质量与对账检查、故障响应、事后复盘以及可复现的运维手册(Runbooks),确保平台的稳定性。
-
为交易台、量化研究员和分析师提供支持,协助数据获取、数据源接入、查询支持以及 Java/Python 客户端 SDK 的维护。
-
主导现有生产平台及其演进:维护并改进现有的数据捕获、流处理、存储、访问及客户端 SDK 服务,同时通过并行运行、数据对账和受控切流,平滑、增量地向 Kafka、ClickHouse、Iceberg 和 Kubernetes 架构迁移。
-
AI Native 工作模式:责任合规地使用 AI 编码助手和大语言模型工具,加速开发、调试与数据运维,并推动团队采纳高效的 AI 工作流。
任职要求
-
计算机科学、工程学或相关量化领域的本科及以上学历。
-
5 年以上 软件工程、市场数据、交易系统或数据平台工程的实操经验。
-
扎实的生产环境 Java 性能调优 能力:精通 JVM/并发编程基础、性能剖析(profiling)、GC 与内存分配行为、线程/IO 瓶颈排查,以及高吞吐量可靠服务的架构设计。
-
具备以下至少一个领域的实时管道或数据服务系统建设与运维实操经验:交易所市场数据、Tick/订单簿数据,或订单、成交、持仓、余额、风控等自营交易数据。
-
具备生产环境实时流处理管道(尤其是 Kafka)的建设与运维经验。
-
深入掌握实时事件正确性机制:顺序与定序、重复/缺口检测、Offset 与检查点管理、重启恢复、重放/补数(replay/backfill)、幂等性、背压(backpressure)、数据对账与数据校验。
-
熟练掌握 SQL,并具备时序或分析型数据库(如 ClickHouse、QuestDB 或 InfluxDB)的生产实操经验,包括大规模数据建模、分区设计、保留策略以及查询性能调优。
-
扎实的分布式系统基础,在数据 API、路由/服务发现、高可用与故障转移、故障恢复、权限认证或向前/向后兼容的数据/客户端契约中至少一个领域有深入实践。
-
具备主人翁意识与运维思维:重视数据正确性、监控、对账、数据质量、补数、故障响应及文档建设。
-
能够适应 On-call 值班安排,并能主动主导生产故障的排查、缓解与预防。
-
具备维护或平滑迁移现有生产数据系统(同时保持关键数据服务高可用)经验者优先。
-
能在日常工程工作中主动使用 AI 工具,并对结果验证与安全性具备成熟合理的判断。
-
保持对新技术的学习热情,包括在性能关键组件中应用 Rust。
-
出色的沟通能力,能以中文和英文作为工作语言者优先。
加分项
-
具备开发交易平台 REST/WebSocket 连接器或 Feed Handler 的直接经验,尤其是订单簿快照/增量流、序列/缺口恢复或协议变更处理。
-
了解市场微观结构、电子交易、Tick 数据平台或 MBO/MBP 数据模型。
-
具备目标平台技术栈部分组件的实操经验——如 ClickHouse 或同类分析型数据库、Iceberg/Parquet 或同类 Data Lakehouse、gRPC/Protobuf、Kubernetes 或 etcd 等服务发现工具(不要求精通所有组件)。
-
具备数据访问 API 或客户端 SDK 的开发经验。
-
接触过 AI/ML 工具,或具备为模型训练与研究构建数据产品的经验。
-
能够使用 Python 进行辅助工具开发、数据分析或数据运维。
-
具备用于历史数据处理、对账、补数或分析的批处理经验。
对这个职位感兴趣吗?