Anima模型基于QLoRA开源的33B guanaco训练了10000 steps。训练使用一个H100 GPU。
本工作主要为了验证QLoRA训练方法的有效性,因此选择了基于QLoRA的Guanaco 33B finetune训练,这个训练更多的是增强模型的中文能力。Assume模型的基础logical reasoning和Knowledge能力已经足够。
官网
https://github.com/lyogavin/Anima
Anima模型基于QLoRA开源的33B guanaco训练了10000 steps。训练使用一个H100 GPU。
本工作主要为了验证QLoRA训练方法的有效性,因此选择了基于QLoRA的Guanaco 33B finetune训练,这个训练更多的是增强模型的中文能力。Assume模型的基础logical reasoning和Knowledge能力已经足够。
https://github.com/lyogavin/Anima
[…] 地址:Anima – 阿噜噜同学 (arlulu.com) […]