Skip to content

[需求] AISBench 压测工具增加像 Evalscope 中的SLA 自动调优设置 #294

@UMR19

Description

@UMR19

问题/痛点描述

当前压测工具都是指定并发和输入输出长度来进行,在进行寻找例如 TTFT<2s 等情况,还需要不断调整并发数,希望能够学习 EvalScope 的压测工具,增加功能

建议方案

参考 EvalScope 的 SLA 实现方案
https://evalscope.readthedocs.io/zh-cn/latest/user_guides/stress_test/sla_auto_tune.html

备选方案

No response

预期价值

自动调优功能允许用户定义服务质量指标(如延迟、吞吐量),工具将自动调整请求压力(并发数或请求速率),寻找服务能够满足这些指标的最大压力值。

参与意向

  • 我愿意参与此功能的开发或测试

Metadata

Metadata

Type

No type
No fields configured for issues without a type.

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions