[Bug] is_bench.benchmark.utils.logging.exceptions.AISBenchRuntimeError: [TINFER-RUNTIME-001]warmup failed. Exit task because all warmup requests failed, failed reasons: {'Bad Request': 1}

[guxin108]

操作系统及版本

linux-aarch64

安装工具的python环境

docker容器中的python环境

python版本

3.11

AISBench工具版本

3.1.20260429

AISBench执行命令

ais_bench --models vllm_api_general_chat_custom --datasets aime2025_gen_0_shot_chat_prompt --debug

模型配置文件或自定义配置文件内容

Deepseekv3.2-w8a8
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="/root/DeepSeek-V3___2-W8A8",
model="ds32",
stream=True,
request_rate=11.2,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=48043,
url="",
max_out_len=1500,
batch_size=1,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0,
ignore_eos=True,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]

预期行为

No response

实际行为

前置检查

• 我已读懂主页文档的快速入门，无法解决问题
• 我已检索过FAQ，无重复问题
• 我已搜索过现有Issue，无重复问题
• 我已更新到最新版本，问题仍存在

[github-actions]

🌟 Welcome to file an issue for the AISBench benchmark tool. You can try the following ways to find solutions to your issue:

1. [Strongly recommended❤️‍🔥]Ensure your issue description is complete, then try to ask for help, as deepwiki contains all the knowledge related to the tool
2. Search for similar issues in the tool's historical issues using key log fragments or keywords
3. Search in the official documentation search bar using key log fragments or keywords
4. Seek help from repository maintainers (mention @SJTUyh in the issue comment)

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

FAIL

详细检查

• 操作系统及版本: COMPLETE
• 安装工具的python环境: COMPLETE
• python版本: COMPLETE
• AISBench工具版本: COMPLETE
• AISBench执行命令: COMPLETE
• 模型配置文件或自定义配置文件内容: INCOMPLETE
• 实际行为: COMPLETE

改进建议

• 模型配置文件或自定义配置文件内容: 请补充模型配置文件或自定义配置文件的具体内容。当前显示“Failed to upload "image.png"”，并未提供实际的配置信息，这对于问题排查至关重要。

补充说明

除了模型配置文件内容缺失外，其他必填信息均已提供。请尽快补充缺失的配置内容，以便更好地理解和解决您的问题。

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[guxin108]

https://github.com/vllm-project/vllm-ascend/actions/runs/25544907550/job/74978854788?pr=8934

精度完整跑完了；跑性能时报错，并发数4，数据集条数16

Traceback (most recent call last):
File "/vllm-workspace/vllm-ascend/benchmark/ais_bench/benchmark/tasks/openicl_api_infer.py", line 704, in
raise e
File "/vllm-workspace/vllm-ascend/benchmark/ais_bench/benchmark/tasks/openicl_api_infer.py", line 701, in
inferencer.run(task_state_manager)
File "/vllm-workspace/vllm-ascend/benchmark/ais_bench/benchmark/tasks/openicl_api_infer.py", line 488, in run
self.warm_up(data_list, task_state_manager)
File "/vllm-workspace/vllm-ascend/benchmark/ais_bench/benchmark/tasks/openicl_api_infer.py", line 467, in warm_up
raise AISBenchRuntimeError(
ais_bench.benchmark.utils.logging.exceptions.AISBenchRuntimeError: [TINFER-RUNTIME-001]warmup failed. Exit task because all warmup requests failed, failed reasons: {'Bad Request': 1} | Visit https://ais-bench-benchmark.readthedocs.io/zh-cn/latest/faqs/error_codes.html#tinfer-runtime-001 for further help.

[guxin108]

max_out_len试过65K，32K,都有上面这个错
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="",
model="xxx/DeepSeek-V3.2-W8A8",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=39657,
url="",
max_out_len=72348,
batch_size=32,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0.6,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

PASS

详细检查

• 操作系统及版本: COMPLETE
• 安装工具的python环境: COMPLETE
• python版本: COMPLETE
• AISBench工具版本: COMPLETE
• AISBench执行命令: COMPLETE
• 模型配置文件或自定义配置文件内容: COMPLETE
• 实际行为: COMPLETE

改进建议

所有内容已完备！

补充说明

该Issue包含了所有必需的章节，并且每个章节都提供了充分且相关的信息。特别是“模型配置文件或自定义配置文件内容”提供了详细的代码配置，而“实际行为”通过图片清晰地展示了问题。

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[SJTUyh]

ais_bench.benchmark.utils.logging.exceptions.FileOperationError: [UTILS-FILE-003]tokenizer load failed. Failed to load tokenizer from /root/.cache/modelscope/hub/models/vllm-ascend/DeepSeek-V3___2-W8A8: AttributeError: 'PreTrainedConfig' object has no attribute 'max_position_embeddings' | Visit https://ais-bench-benchmark.readthedocs.io/zh-cn/latest/faqs/error_codes.html#utils-file-003 for further help.
Error:  2026-05-08-08:54:02 (PID:98354, Device:-1, RankID:-1) ERR99999 UNKNOWN applicaiton exception

检查一下你的模型量化权重是否完整（这个是transformers库报的错，具体问AI），以及transformers版本是否正确，非工具问题

[zhongzhouTan-coder]

failed reasons: {'Bad Request': 1}

这个有可能是请求 max_out_len 超过了模型拉起的 max_out_len，具体可以排查下模型测日志，bad request 一般是请求参数不对。