操作系统及版本
ubuntu 22.04
安装工具的python环境
docker容器中的python环境
python版本
3.10
AISBench工具版本
v3.1-20260330-master_aarch64_py_310
AISBench执行命令
ais_bench --models vllm_api_general_chat --datasets synthetic_gen --model perf
模型配置文件或自定义配置文件内容
模型推理服务访问URL为http://10.5.x.x:xx/memeber1/deepseek_v4/v1chat/completions
vllm_api_general_chat.py配置中URL为http://10.5.x.x:xx/memeber1/deepseek_v4
会导致模型的输出结果异常,output token全都为0,测试运行时间也是异常(以下指标都是有问题)
查看输出结果的json,prediction字段是空,未接收到模型的返回信息
只有URL配置成http://10.5.x.x:xx/memeber1/deepseek_v4/,才测试正常
预期行为
vllm_api_general_chat.py配置中URL末尾未加/也能正常测试
实际行为
vllm_api_general_chat.py配置中URL末尾未加/导致访问地址不对,例如URL配置为http://10.5.x.x:xx/memeber1/deepseek_v4,实际去访问模型的时候地址会变为http://10.5.x.x:xx/memeber1/v1/chat/completions
前置检查
操作系统及版本
ubuntu 22.04
安装工具的python环境
docker容器中的python环境
python版本
3.10
AISBench工具版本
v3.1-20260330-master_aarch64_py_310
AISBench执行命令
ais_bench --models vllm_api_general_chat --datasets synthetic_gen --model perf
模型配置文件或自定义配置文件内容
模型推理服务访问URL为http://10.5.x.x:xx/memeber1/deepseek_v4/v1chat/completions
vllm_api_general_chat.py配置中URL为http://10.5.x.x:xx/memeber1/deepseek_v4
会导致模型的输出结果异常,output token全都为0,测试运行时间也是异常(以下指标都是有问题)
查看输出结果的json,prediction字段是空,未接收到模型的返回信息
只有URL配置成http://10.5.x.x:xx/memeber1/deepseek_v4/,才测试正常
预期行为
vllm_api_general_chat.py配置中URL末尾未加/也能正常测试
实际行为
vllm_api_general_chat.py配置中URL末尾未加/导致访问地址不对,例如URL配置为http://10.5.x.x:xx/memeber1/deepseek_v4,实际去访问模型的时候地址会变为http://10.5.x.x:xx/memeber1/v1/chat/completions
前置检查