README

MOSS








[论文][中文版] [English] [官方微信群]

MOSS 是支持中英双语对话与工具调用的开源语言模型。本仓库提供 MOSS-003 系列模型、对话数据、部署与微调代码。

从这里开始： 模型下载 · 硬件要求 · 本地运行 · 微调

查看 OpenMOSS 的更多项目：MOSS-TTS · MOSS-VL · MOVA · OpenMOSS.

 目录

- 开源清单
  - 模型
  - 数据
  - 工程方案
- 介绍
- 本地部署
  - 硬件要求
  - 下载安装
  - 使用示例
- 微调
  - 软件依赖
  - 使用方法
- 友情链接
- 未来计划
- 开源协议

----

 :spiral_notepad: 开源清单

 模型

- moss-moon-003-base: MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x1022次浮点数运算。
- moss-moon-003-sft: 基座模型在约110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
- moss-moon-003-sft-plugin: 基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在moss-moon-003-sft基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
- moss-moon-003-sft-int4: 4bit量化版本的moss-moon-003-sft模型，约占用12GB显存即可进行推理。
- moss-moon-003-sft-int8: 8bit量化版本的moss-moon-003-sft模型，约占用24GB显存即可进行推理。
- moss-moon-003-sft-plugin-int4: 4bit量化版本的moss-moon-003-sft-plugin模型，约占用12GB显存即可进行推理。
- moss-moon-003-sft-plugin-int8: 8bit量化版本的moss-moon-003-sft-plugin模型，约占用24GB显存即可进行推理。
- moss-moon-003-pm: 在基于moss-moon-003-sft收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。
- moss-moon-003: 在moss-moon-003-sft基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。
- moss-moon-003-plugin: 在moss-moon-003-sft-plugin基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。

 数据

- moss-002-sft-data: MOSS-002所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由text-davinci-003生成的约57万条英文对话和59万条中文对话。
- moss-003-sft-data: moss-moon-003-sft所使用的多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，相比moss-002-sft-data，moss-003-sft-data更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。完整数据已全部开源。
- moss-003-sft-plugin-data: moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。已开源所有数据。
- moss-003-pm-data: moss-moon-003-pm所使用的偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据，将在近期开源。

 工程方案

- MOSS Vortex - MOSS部署和推理方案
- MOSS WebSearchTool - MOSS搜索引擎插件部署方案
- MOSS Frontend - 基于flutter实现的MOSS-003前端界面
- MOSS Backend - 基于Go实现的MOSS-003后端

 :fountain_pen: 介绍

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

局限性：由于模型参数量较小和自回归生成范式，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使用MOSS生成的内容，请勿将MOSS生成的有害内容传播至互联网。若产生不良后果，由传播者自负。

MOSS用例：

!image

简单数学应用题

!image



解方程

!image



生成图片

!image



中文语境

!image

!image

!image



代码能力

!image

!image



无害性

!image




 :robot: 本地部署
 硬件要求

下表提供了一个batch size=1时本地部署MOSS进行推理所需的显存大小。量化模型暂时不支持模型并行。

| 量化等级 | 加载模型 | 完成一轮对话（估计值） | 达到最大对话长度2048 |
| -------- | -------- | ---------------------- | -------------------- |
| FP16     | 31GB     | 42GB                   | 81GB                 |
| Int8     | 16GB     | 24GB                   | 46GB                 |
| Int4     | 7.8GB    | 12GB                   | 26GB                 |

 下载安装
1. 下载本仓库内容至本地/远程服务器

bash
git clone https://github.com/OpenMOSS/MOSS.git
cd MOSS


2. 创建conda环境

bash
conda create --name moss python=3.8
conda activate moss


3. 安装依赖

bash
pip install -r requirements.txt


其中torch和tran