和mineru2.5的性能TPS对比是用的什么框架跑出来的数据

[ljy6j13]

1. 使用了issue中回复的sglang版本，不开cuda_graph可以正常启动，但是性能很差，不如mineru-2.5，开启之后会报错
2. 希望可以知道具体的GPU型号以及启动参数配置，感谢

[Niujunbo2002]

感谢你的关注！
和mineru2.5的性能TPS对比是用的transformer的推理框架跑出来的数据（因为先有的推理引擎都是面向自回归模型的，对dLM的支持不是很友好，所以我们只能基于transformer的推理框架来公平的对比）

1. jhdonghj/sglang@14dc0cdb17e62a97374450362ff3732539825cf4这里有支持cuda_graph的版本，我们现在还在协调和sglang的配套支持，可以先试用我们的dev版本。mineru-diffusion的 sglang在低并发的情况下速度肯定是会比mineru-2.5快的，但是在高并发的情况下可能没啥提升，这是因为dLM的并行解码本质上和MTP一样，是在用显存换取速度，高并发本质也是在用显存换取速度，所以mineru-diffusion目前的速度提升主要还是在于低并发场景下。
   2.GPU:H200-140G，具体配置参数文章的实验部分都有写，目前建议使用transformer和nano-vllm的版本，sglang我们还在积极适配，这个是infra层面的问题（我们的文章只是进行了算法验证，不建议落地使用，mineru-diffusion-v2会面向落地场景优化）

[Niujunbo2002]

我们下周会把mineru-diffusion合入sglang主分支，还在积极优化中。

[ljy6j13]

好的，感谢