这个Repo是作为一个学习笔记。 因为在个人学习过程中,在了解LLM背后的理论和训练过程之后,希望能尽快的自己完成一个pretrain 和 finetune。理解和能够自己实现训练的代码当然是有价值的,但是刚开始,还是希望能尽快的能从一个overview的程度,进行训练和微调。
所以在这个Repo里, 快速上手训练一个模型 里会用已经工业化的工具来带领读者快速的使用高层的工具训练和微调一个模型。
在学习笔记里,我们会从理论层面讲解LLM。
推荐阅读 happy llm
| Name | Name | Last commit date | ||
|---|---|---|---|---|
这个Repo是作为一个学习笔记。 因为在个人学习过程中,在了解LLM背后的理论和训练过程之后,希望能尽快的自己完成一个pretrain 和 finetune。理解和能够自己实现训练的代码当然是有价值的,但是刚开始,还是希望能尽快的能从一个overview的程度,进行训练和微调。
所以在这个Repo里, 快速上手训练一个模型 里会用已经工业化的工具来带领读者快速的使用高层的工具训练和微调一个模型。
在学习笔记里,我们会从理论层面讲解LLM。
推荐阅读 happy llm