AI性能与压力测试工程师

岗位职责 1. 配合研发对大模型 Token 服务的性能、压力及精度测试，设计测试方案并开发自动化测试脚本。 2. 测试不同并发、输入/输出长度、Cache 命中率及部署方式下的性能，重点关注 TTFT、TPOT/ITL、OTPS、吞吐量、Cache Hit Rate 等指标。 3. 负责不同模型版本、量化方案（FP8/FP4/AWQ）、推理框架及优化策略下的模型精度回归测试，评估性能优化对模型质量的影响。 任职要求： 1. 3 年以上性能测试或大模型测试经验，熟练使用 Locust、JMeter、k6、vLLM/SGLang Benchmark 等工具。 2. 熟悉大模型评测方法，了解 Accuracy、Pass1、F1、LLM Judge、Tool Call 准确率 等指标和标准测试数据集。 3. 熟悉 HTTP/2、SSE、WebSocket、gRPC 及流式接口压测。 4. 能根据压测、精度评测及监控数据独立定位问题。 5. 最好能BASE南通,如果不能则需要接受出差南通 加分项 1. 有 vLLM、SGLang、TensorRT-LLM 等经验，理解 P/D 分离、KV Cache、TP/DP/EP、量化、投机解码、NCCL、RDMA/NVLink 等技术。