Java工程师

Java后端工程师（模型网关/算力中台） 工作地点 广州番禺 广州南站 业务介绍 基于 LiteLLM 架构思路，使用 Java 重构统一大模型网关，先落地工厂内部MES、产线质检系统AI赋能；后期升级为Token算力工厂，对外提供Token调用、GPU租赁、私有模型托管推理商用服务，内网私有化+公网商用两套集群运行。 岗位职责 1. 参照LiteLLM架构，采用Java WebFlux重构多模型统一网关，插件化对接各大公有模型、私有化推理服务，抹平各家SSE流式协议差异； 2. 复刻优化用量统计、虚拟密钥鉴权、熔断降级、故障自动切换逻辑，实现精准计费对账； 3. 基于K8s搭建GPU算力调度环境，完成推理容器部署、租户资源隔离、空闲算力回收； 4. 网关安全改造：密钥加密存储、日志脱敏、IP白名单管控，修复开源版本安全短板； 5. 负责网关、Redis、PostgreSQL、K8s算力集群部署发布、巡检、故障排查； 6. 搭建基础监控告警体系，保障工厂产线与商用推理服务稳定运行。 任职要求 必备 1. 3-5年Java后端开发经验，熟练Java17、SpringBoot3、Spring WebFlux、Reactor，可独立开发SSE流式推送逻辑； 2. 了解API网关架构，能看懂LiteLLM架构逻辑即可，无需精通Python； 3. 熟练PostgreSQL、Redis、RabbitMQ，掌握分布式限流、分布式锁实战用法； 4. 会使用K8s，能够编写GPU容器调度yaml、借助NVIDIA插件完成显卡分配与租户Namespace隔离； 5. 熟练Docker打包部署，具备线上接口阻塞、超时雪崩、缓存异常等问题排查能力； 6. 掌握AES/RSA加密、敏感数据脱敏基础安全开发手段。 优先加分 1. 对接过大模型接口、做过多模型网关适配项目； 2. 可采集GPU运行状态指标，了解vLLM/SGLang基础部署； 3. 会搭建Prometheus+Grafana监控告警； 4. 具备国产数据库、ARM信创适配经验。 禁止投递 只会SpringMVC做CRUD、不会WebFlux流式开发；无K8s实操经验；只写代码拒绝运维工作。 工作模式 前期单集群规模（50卡内）一人兼顾开发+集群运维；后期商用扩量后拆分专职运维岗位。 福利 1. 足额五险一金、带薪年假、年度体检、节日福利； 2. 内部GPU集群可供员工技术研究； 3. 发展路径：后端工程师 → 算力中台负责人。