Firefly(流萤) 是一个开源的中文大语言模型项目,正如我们的项目名称一样,希望本项目能够像流萤一般发出淡淡微光,为中文大语言模型社区尽绵薄之力,促进中文大语言模型社区的发展。
流萤(萤火虫的别称)是中华传统文化的一个符号,虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。本项目的名称取自杜牧的《秋夕》: 银烛秋光冷画屏,轻罗小扇扑流萤。
《咏萤火》 唐.李白 雨打灯难灭, 风吹色更明。 若飞天上去, 定作月边星。
🔔 本项目主要内容如下:
- 📗 支持全量参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调(后续将会提供支持)。
- 📗 支持绝大部分主流的开源大模型,如百川baichuan、Ziya、Bloom、LLaMA等。
- 📗 支持lora与base model进行权重合并,推理更便捷。
- 📗️ 模型裁剪:通过 LLMPruner:大语言模型裁剪工具 ,开源 裁剪后的Bloom模型权重 。在保留预训练中文知识的前提下,有效减少模型参数量,降低训练成本,提高训练效率。
- 📗 整理并开源指令微调数据集:firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。
- 📗 开源 Firefly系列指令微调模型权重 。
🔔 下图是firefly-bloom-7b1的多轮对话的生成效果。
官网
https://github.com/yangjianxin1/Firefly
[…] 地址:Firefly(流萤) – 阿噜噜同学 (arlulu.com) […]