本项目基于Meta发布的可商用大模型 Llama-2 开发,是 中文LLaMA&Alpaca大模型 的第二期项目,开源了 中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型 在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显着性能提升。相关模型 支持FlashAttention-2训练, 支持4K上下文并可通过NTK方法最高扩展至18K+。
本项目主要内容:
– 🚀 针对Llama-2模型扩充了 新版中文词表,开源了中文LLaMA-2和Alpaca-2大模型 – 🚀 开源了预训练脚本、指令精调脚本,用户可根据需要进一步训练模型 – 🚀 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验 – 🚀支持 🤗transformers , llama.cpp , text-generation-webui , LangChain , privateGPT , vLLM 等LLaMA生态 – 目前已开源的模型:Chinese-LLaMA-2(7B/13B), Chinese-Alpaca-2( 7B/13B)(更大的模型可先参考 一期项目)
官网
https://github.com/ymcui/Chinese-LLaMA-Alpaca-2
[…] 地址:Chinese-LLaMA-Alpaca-2 – 阿噜噜同学 (arlulu.com) […]