基座模型的通用能力有下降吗？

[xiexie123]

nice work!

有2个问题非常期待作者的分享：

1. 因为paper是围绕memory这部分有很多实验。但是好像没有看到M+ 和 基座模型（Llama-3.1-8B）在通识能力上的对比。即，引入了memory这部分，加上3个stage的后训练后得到的M+ 模型的通识能力如何。就是作为用户，我既希望模型很强又希望模型拥有“记忆”。

2. 目前训练得到的M+模型的"memory和retrieve"的能力是“通用”的吗？即 用户可以直接使用。还是跟训练数据有baise呢，比如医学知识或者特别小众领域的知识长文档, M+的memory指标都能稳定在线？

再次感谢作者的开源

[wangyu-ustc]

感谢兴趣！

1. 在文章的4.6.1，我们有这样一句话：“We randomly select 1,000 examples from the fineweb-edu dataset (snapshot CC-MAIN-2024-10), which does not overlap with the training data. For this evaluation, we cap the input sequence length at 2,048 tokens and report perplexity for both M+ and LLaMA-3.1-8B. The results show that LLaMA-3.1-8B achieves a perplexity of 1.9734, while M+ records a similar perplexity of 1.9828. These findings indicate that M+ maintains competitive performance on documents shorter than 2,048 tokens, confirming that the base model’s quality within the context window remains intact.”
2. 是通用的，我们使用的dataset是Fineweb-Edu，这个其实是general pretraining dataset，然后上面1中的测试也是general dataset，randomly从Fineweb-Edu的最新snapshot中抽出来的。特别小众的领域可能不太确定，但是Llama3-8B 的基本能力我们并没有丢失，它本身能够擅长的domain，M+也会擅长的

[xiexie123]

感谢快速的回复。get!

另一个问题，目前模型是LLM，如何扩展到VLM呢？

[xiexie123]

感谢兴趣！

1. 在文章的4.6.1，我们有这样一句话：“We randomly select 1,000 examples from the fineweb-edu dataset (snapshot CC-MAIN-2024-10), which does not overlap with the training data. For this evaluation, we cap the input sequence length at 2,048 tokens and report perplexity for both M+ and LLaMA-3.1-8B. The results show that LLaMA-3.1-8B achieves a perplexity of 1.9734, while M+ records a similar perplexity of 1.9828. These findings indicate that M+ maintains competitive performance on documents shorter than 2,048 tokens, confirming that the base model’s quality within the context window remains intact.”
2. 是通用的，我们使用的dataset是Fineweb-Edu，这个其实是general pretraining dataset，然后上面1中的测试也是general dataset，randomly从Fineweb-Edu的最新snapshot中抽出来的。特别小众的领域可能不太确定，但是Llama3-8B 的基本能力我们并没有丢失，它本身能够擅长的domain，M+也会擅长的

辛苦再确认一下，整个训练过程，Φ 和 θ 都是需要梯度更新的吧。

[wangyu-ustc]

扩展到VLM应该需要一个多模态的数据集。我自己没做过VLM但是感觉把训练VLM的数据搬过来，然后把image部分放在左边存进memory，text部分放在右边算loss应该就可以？
梯度只会更新\phi；memory \theta是会流动更新的，就是每一步训练完就把delta_memory给塞进去，但是不是用梯度更新的

[xiexie123]

果然只更新了phi。明白了在 2025年7月22日，10:01，Yu Wang ***@***.***> 写道：wangyu-ustc left a comment (wangyu-ustc/MemoryLLM#12) 扩展到VLM应该需要一个多模态的数据集。我自己没做过VLM但是感觉把训练VLM的数据搬过来，然后把image部分放在左边存进memory，text部分放在右边算loss应该就可以？ 梯度只会更新\phi；memory \theta是会流动更新的，就是每一步训练完就把delta_memory给塞进去，但是不是用梯度更新的 —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: ***@***.***>