QwenVL的量化

[wym42]

请问有多模态量化的经验么？使用QQQ，我只用gptq量化qwenvl的语言模块，提供的样本也有带图片的，但是最后产出的模型，丢失了视觉能力，请问你们有想关的尝试么？

[HandH1998]

目前QQQ的代码只支持了Qwen的纯文本模型，如果你想量化QwenVL的语言模块，应该修改代码，增加视觉编码那块的代码，并且用带图片的样本做校准。

[HandH1998]

但是我没有尝试过，不确定这么做会有什么问题。