大模型性能测试(二):使用 Locust 并发请求测算 API 吞吐量与延迟「附代码」

发布时间:2026/5/31 11:21:34

大模型性能测试(二):使用 Locust 并发请求测算 API 吞吐量与延迟「附代码」 从单次调用到万级并发,本文字带你用 Locust 跑通大模型 API 的全链路压测,附完整代码和指标拆解目录一、问题:大模型压测为什么用不了 ab 和 wrk二、大模型性能测试的三座大山三、Locust:大模型API压测的最优解四

相关新闻