README

网站 ·
  Discord ·
  English · 简体中文 · 繁體中文 · Italiano · 日本語 · Bahasa Indonesia · Português (Brasil)


小巧引擎，庞大模型。 colibri 在你现有的机器上运行超大规模的开放模型。一个拥有数千亿参数的专家混合（mixture-of-experts，MoE）模型，每个 token 只会用到自身的一小部分，因此 colibri 把这一部分放在内存中，其余部分，也就是各个专家，则在模型需要时从磁盘读取。纯 C 实现，每个模型家族一个文件，不需要 GPU。

如今有十三个引擎在运行。其中十个用于语言模型：GLM-5.2/5.3（也运行 Mistral-Large-4）、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、MiMo-V2.6 Flash（以及 Pro）、Qwen3.8-Flash-Next、Qwen3.6（也运行 Qwen3-Coder、稠密的 Qwen3.8-27B、Flint、Muse Spark Open 和 LFM3-VL）以及 OLMoE。一个用来画图：Qwen-Image-2.1。两个用来回答决策问题：Laya 和 GLiNER2.5-Decide，第三个决策模型 Clef 运行在 Qwen3.6 引擎上。语言模型也可以直接运行已发布的 GGUF 文件，按原样读取（GGUF），可在 CPU 上运行，可通过 Vulkan 在任何 GPU 上运行，也可通过 CUDA 在 NVIDIA 显卡上运行。哪一个适合我的机器


$ ./coli chat
  colibri v2.1.0 · GLM-5.2 · 744B MoE · int4 · streaming CPU
  ✓ ready in 32s · resident 9.9 GB
  › ciao!
  ◆ Ciao! Come posso aiutarti oggi?



  
  
  colibri 免费且开源。如果它已经在你的机器上站稳了脚跟，一杯咖啡就能支持下一个引擎和下一次提速。





 一步开始使用

你需要一台内存至少 8 GB 的电脑（16 GB 或更多更好），磁盘上要有 22 GB 可用空间来放最小的模型，还需要网络连接。显卡是可选的。

Windows

1. 在本页面点击 Code，再点击 Download ZIP，然后解压。
2. 在解压后的文件夹中双击 START-HERE.bat。如果电脑上没有 Python，它会提出帮你安装。

Linux（Ubuntu 和 Debian；其他发行版也有同样的软件包，只是名称不同）

bash
sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh


macOS（需要 Homebrew）

bash
xcode-select --install
brew install libomp git python
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh


你只需要回答一个问题：用哪个模型，直接按回车就采用推荐。然后安装程序会：

1. 检查你的机器：内存、磁盘可用空间、CPU 和 GPU；
2. 推荐一个装得下的模型：模型中始终留在内存里的部分，加上最小的专家缓存，必须放得进你的内存，下载的文件必须放得进你的磁盘；
3. 获取引擎：如果机器上有编译器，就为你的机器编译引擎，否则下载预编译版本，该版本在 CPU 上运行，在 Linux 和 Windows 上也能在 Vulkan GPU 上运行。在值得的时候，它会为你的 GPU 编译：Linux 上的 NVIDIA 显卡在装有 CUDA toolkit 时用 CUDA，否则用 Vulkan。在独立显卡上总是这样做；集成显卡与 CPU 共用内存，只有实测在集成显卡上更快的模型（Qwen3.6、Qwen3-Coder 和 Qwen3.8-Flash-Next）才会这样做。如果缺少某个软件包，它会打印出安装该软件包的确切命令，并继续使用 CPU；之后再运行一次安装程序，它就会为 GPU 重新编译；
4. 下载模型，显示进度并支持断点续传：随时可以中断，再次运行就会从中断的地方继续；
5. 启动 colibri，并在浏览器中打开仪表盘，同时打印出其他应用可以使用的地址：


Starting colibri
  Browser:             http://127.0.0.1:8000/
  OpenAI base URL:     http://127.0.0.1:8000/v1
  Anthropic base URL:  http://127.0.0.1:8000
  stop: press Ctrl+C here (or close this window)


下次使用时，再次运行 START-HERE.bat 或 ./start-here.sh 即可：colibri 会直接启动，不再下载，也不再编译。c/coli status 显示安装了什么以及它是否在运行，c/coli stop 用来停止它（Windows 上为 c\coli.cmd status 和 c\coli.cmd stop）。

选项写在 ./start-here.sh 或 START-HERE.bat 后面：

| 选项 | 作用 |
|---|---|
| --list | 列出所有模型与这台机器的对照，以及某个模型为什么装不下 |
| --model ID | 安装指定的模型（id 见下面的表格） |
| --yes | 不提问：直接采用推荐 |
| --dir DIR | 把模型放到另一块磁盘上（默认 ~/colibri-models） |
| --backend vulkan、cuda 或 cpu | 自己选择引擎的构建版本；--no-gpu 等同于 --backend cpu |
| --model-dir DIR | 使用你已经下载好的模型 |
| --reconfigure | 换一个模型 |

每一步的详细说明：docs/quickstart.md。

 如果出了问题

| 你看到的情况 | 怎么办 |
|---|---|
| 下载过程中停止了 | 再次运行同一条命令：它会从磁盘上已有的字节处继续 |
| to use the GPU through ..., first run:  | 运行这条命令，然后再运行一次安装程序：它会为 GPU 重新编译，不会重新下载 |
| the ... build failed，例如已安装的 CUDA toolkit 不再支持这张显卡时出现的 Unsupported gpu architecture | 安装程序会先

Top issues

Discussions

Latest release

Huge open models on the machine you already have: on the CPU, on any GPU through Vulkan, on NVIDIA cards through CUDA. Pure C, one file per model family.

387 pull requests since v2.0.0, 208 of them from 35 contributors. GGUF files now run natively on every engine, read exactly as published. Four new models arrive, Mistral-Large-4 (1T) among them. CUDA gets device chains of its own and a routed-expert tier for every engine. Qwen3.8-Flash-Next runs a 256k context at the speed of 64k, an agent's turns read only what is new, and there is a new chat UI.


  


 Highlights

- GGUF on every engine.