AI工具

VisualGLM-6B is an open-source, multi-modal dialog language model that supports images, Chinese, and English. The language model is based on ChatGLM-6B with 6.2 billion parameters; the …

TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源： 模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research ve…

YuLan-Chat系列模型是中国人民大学高瓴人工智能学院师生共同开发的支持聊天的大语言模型（名字”玉兰”取自中国人民大学校花）。最新版本基于LLaMA-2进行了中英文双语的继续预训练和指令微调。该版模型具有如下技术特点： 由于在高质量中英双语数据上进行了继续预训练，模型的语言能力得到提高； 为了更好的支持中文和更长的输入输出，对原版LLaMA-2的词表及长度进行了扩充，目…

ChatRWKV 类似于 ChatGPT，但由 RWKV（100% RNN）语言模型提供支持，并且是开源的。 ChatRWKV 类似于 ChatGPT，但由我的 RWKV（100% RNN）语言模型提供支持，这是唯一的 RNN （截至目前）它可以在质量和缩放方面与 Transformer 相匹配，同时速度更快并节省 VRAM。由 Stability EleutherAI 赞助的培训:) Raven…

Baichuan-7B简介 Baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。在标准的中文和英文 benchmark（C-Eval/MMLU）上均取得同尺寸最好的效果。 官网 https://github.com/baichua…

KnowLM简介 这是KnowLM的概述，主要包含三个技术特征： 知识提示：基于知识图等结构化数据生成知识提示，利用知识增强约束来解决知识提取和推理 知识编辑：利用知识编辑技术，对齐大型模型中过时的、不正确的、有偏见的知识，解决知识谬误问题（英文教程）。 知识交互：它能够实现动态的知识交互和反馈，实现工具化学习和多智能体协作，解决LLM中的具身认知问题（英文教程）。 这三种技术对应的工具是Easy…

📝 项目主要内容 🚀 训练代码 详见 BELLE/train ，尽可能简化的一个训练代码实现，集成了Deepspeed-Chat，支持finetune，lora，并提供了相关的docker 📊 数据开放 详见 BELLE/data/1.5M ，参考 Stanford Alpaca 生成的中文数据集 1M + …

  一个可扩展、方便和高效的工具箱，用于微调大型机器学习模型。我们的目标是开发一套用户友好、快速可靠，并对整个社区开放的全流程微调代码库。 官网 https://github.com/OptimalScale/LMFlow

ChatGLM 2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM 2-6B 引入了如下新特性： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM&nbs…

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM) 架构，具有62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需6GB 显存）。 ChatGLM-6B 使用了和ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约1T 标识符的中英双语训练，辅以监督微调、反馈自助、人…

欢迎来到我们的海外中文大语言模型开源项目 – Panda！Panda项目于2023年5月启动，旨在大模型时代帮助整个社区探索大模型的整个技术栈。近期，我们对Panda项目进行了升级。目前Panda项目分为三个子项目：1. PandaLLM 2. PandaLLMOps 3. PandaCommunity。以下是每个子项目的具体介绍： PandaLLM 开源大模型。Panda系列开源大模…

悟道·天鹰（Aquila） 语言大模型是首个具备中英双语知识、支持商用许可协议、国内数据合规需求的开源语言大模型。 🌟 支持开源商用许可。Aquila系列模型的源代码基于 Apache 2.0 协议，模型权重基于 《智源Aquila系列模型许可协议》，使用者在满足许可限制的情况下，可用于商业目的。 - ✍️ 具备中英文知识。Aquila系列模型…

为了能够在中文上训练出一个能够和ChatGPT能力接近的中文大模型，我们开放了AtomGPT项目。 AtomGPT基于LLaMA的模型架构，从0开始训练，希望能在训练的过程中，将模型能力得到提升的进化过程展示出来，感受到模型学习的过程。 官网 https://github.com/AtomEcho/AtomGPT

  本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显着提升了模型对指令的理解和执行能力。 技术报告（V2）：[Cui, Yang, and Yao] Eff…

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。 MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 局限性：由于模型参数量较小和自回归生…

lnternLM 是上海人工智能实验室与商汤科技（同等贡献）联合香港中文大学、复旦大学、上海交通大学合作开发的多语言大语言模型。 我们隆重介绍 InternLM ，具有 104B 个参数的多语言基础语言模型。 InternLM 在具有 1.6T 代币的大型语料库上进行了多阶段渐进过程的预训练，然后进行微调以符合人类偏好。我们还开发了名为 Uniscale-LLM 的训练系统，用于高效的大语言模型训…

VisCPM 是一个开源的多模态大模型系列，支持中英双语的多模态对话能力（ VisCPM-Chat 模型）和文到图生成能力（ VisCPM-Paint 模型），在中文多模态开源模型中达到最佳水平。VisCPM基于百亿参数量语言大模型 CPM-Bee（10B）训练，融合视觉编码器（Q-Former）和视觉解码器（Diffusion-UNet…

Anima简介 Anima模型基于QLoRA开源的33B guanaco训练了10000 steps。训练使用一个H100 GPU。 本工作主要为了验证QLoRA训练方法的有效性，因此选择了基于QLoRA的Guanaco 33B finetune训练，这个训练更多的是增强模型的中文能力。Assume模型的基础logical reasoning和Knowledge能力已经足够。 官网 https:/…

开源，可商用的中英文双语语音-语言助手 LLaSM 以及中英文语音 SFT 数据集 LLaSM-Audio-Instructions，第一个支持中英文语音-文本多模态对话的开源可商用对话模型。 官网 https://github.com/LinkSoul-AI/LLaSM

Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 ( Baichuan-13B-Base) 和对齐 ( Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点： …

本项目为基于 LLaMA-7B 经过 中文数据集增量预训练 产生的 中文大语言模型基座。 特点 - 本项目为通过增强预训练（Further-Pretrain）获得的中文预训练模型，提供 huggingface 版本权重 - 对比原版 LLaMA，本模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩，详见 评测&nbs…

就在不久前，Meta最新开源了Llama 2模型，完全可商用，看来Meta势必要与OpenAI (ClosedAI) 硬刚到底。虽然Llama 2对原版的LlaMA模型做了升级，但是其仍然对中文没有太好的支持，需要在中文上做定制化。所以我们决定在次开展Llama 2的中文汉化工作： 🚀 Chinese-LlaMA2-chat-sft：对Llama-2直接进行有监督微调， 采用开源指令微调…

Visual-Chinese-LLaMA-Alpaca（VisualCLA）是基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块，使LLaMA模型可以接收视觉信息。在此基础上，使用了中文图文对数据进行了多模态预训练，对齐图像与文本表示，赋予其基本的多模态理解能力；并使用多模态指令数据集精调，增强其对多…

欢迎来到Llama2中文社区！我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。 基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。 我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。 为什么选择Llama2中文社区？ 🚀 高级工程师团队支持：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和…