README

edge0

开源流式 MoE 推理框架 —— SSD 专家 offload + Recover-LoRA + prerouter 路由预判

macOS · iOS · Android · Windows —— 一个引擎，一套原生 API。










English | 中文 | 日本語 | Español | Français



 新闻

- 【2026-11-04】 发布统一推理引擎 edge0-infer：
  基于 GGML，一个引擎、一套原生 C++ API，
  在 macOS、iOS、Android、Windows 上运行同一个模型，并附带 CLI、OpenAI 兼容
  本地服务，以及桌面、Android、iOS 对话 App 示例。首版支持 edge0-35b，
  edge0-8b 将在后续版本支持。它取代了原 Python 框架与四端各自的引擎，
  旧版代码保留在 tag
  pre-edge0-infer。
- 【2026-09-30】 我们发布了四端推理引擎，适配 iOS、macOS、
  Android、Windows 平台（源码见 tag
  pre-edge0-infer）。
- 【2026-09-16】 技术报告上线 arXiv：The Other Half of the Memory
  Wall: Serving 35B MoEs from SSD with Trained Routing
  Prediction。
- 【2026-09-08】 edge0 首次开源发布，两个模型档位
  Edge0-35B-A3B-preview
  与 Edge0-8B-A1B-preview
  同步登陆 Hugging Face 与 ModelScope。

 关于 edge0

edge0 是一个开源的流式 MoE 推理框架：把「SSD 专家 offload +
Recover-LoRA + prerouter 路由预判」抽象成可扩展的通用框架，让大型稀疏
MoE 模型跑在消费级硬件上——峰值内存由激活专家集而非参数量决定。

 核心机制

- SSD 专家 offload：专家权重按需从存储流式加载，峰值内存由
  激活集而非参数量决定；
- prerouter：训练头提前一步预测专家路由，专家装载与前向计算重叠
  而非阻塞——解码吞吐最高 +59%，收益随存储延迟、模型规模与路由
  宽度 K 增大；
- Recover-LoRA：冻结 int4 基模，用 FP teacher 蒸馏训练 LoRA，
  在 4bit 下恢复绝大部分量化损失（见质量）。适配器与基模
  分开存放，可单独开关。

 平台

一个引擎、一套原生 API，四端共用同一份代码，见 edge0-infer/：

| 平台 | 后端 | 验证设备 |
|---|---|---|
| macOS（Apple Silicon） | Metal、CPU | Apple M5，16 GiB |
| iOS | Metal | iPhone 17 Pro Max |
| Android | CPU | OnePlus PKR110（骁龙 8 Elite） |
| Windows（x86-64） | CPU、Vulkan | Intel Core i5-12400，NVIDIA GeForce RTX 4070 SUPER |

prefill 与 decode 可以用同一设备上的不同后端，例如 Metal prefill + CPU decode。
桌面（macOS、Windows）、Android、iOS 的对话 App 示例见
edge0-infer/examples/。

 模型

框架随附两个模型档位。每个档位是一个端到端发布：发布的 checkpoint、
训练好的 LoRA 适配器与训练好的 prerouter 头作为整体协同工作。

| 档位 | 发布 checkpoint | 推理档 | edge0-infer |
|---|---|---|---|
| edge0-35b | Edge0/Edge0-35B-A3B-preview · ModelScope | 4bit，40 层，256 专家，prerouter K=4 | ✅ 已支持 |
| edge0-8b | Edge0/Edge0-8B-A1B-preview · ModelScope | 4bit，24 层，128 专家，prerouter K=8 | 计划中 |

两个 checkpoint 均基于开源稀疏 MoE 基座（分别为 Qwen3.6-35B-A3B
与 Ling 3.0 混合架构），并携带为本框架训练的 LoRA 与 prerouter 权重。
edge0-infer 用自带的资产工具下载发布的 checkpoint，并转换成引擎的模型
资产（见快速开始）。

 设计

- 基于 GGML、四端同一份代码：原生库只依赖固定版本、原样内置的 GGML，
  构建时不下载任何东西；
- 一套原生 API：应用链接 CMake 目标 edge0::edge0、包含
  include/edge0/ 下的头文件即可在进程内使用引擎；参考 CLI 与 OpenAI
  兼容服务使用与原生 API 相同的配置与默认值；
- 专家按需读入：路由专家从存储按需读入每层固定数量的专家槽，比
  设备内存预算更大的模型无需整体载入内存即可运行；
- 两种路由模式：predicted（默认）用 prerouter 在当前 token 计算时
  后台准备下一个 token 的专家；actual 为模型原始计算，用于对照；
- 多轮复用：多轮对话中通常只计算每轮的新消息，之前的计算结果直接
  复用。

详见 edge0-infer 架构。

 质量

全部评测由我们使用 OpenCompass、
在完全相同的设置与参数下对 edge0 模型（int4 + 训练适配器 + prerouter 路由）
与原 fp16 基座模型测得。edge0 管线的损失很小：edge0-35b 平均仅落后
3.9 分、edge0-8b 落后 2.8 分（MMLU-Pro 甚至反超基座）。满分 100：

| 评测集 | edge0-35b（int4） | Qwen3.6-35B-A3B（fp16） | edge0-8b（int4） | Ling 3.0 tiny（fp16） |
|---|---:|---:|---:|---:|
| AIME 2026 | 86.6 | 92.7 | 63.3 | 73.3 |
| HumanEval | 90.9 | 95.1 | 91.5 | 92.7 |
| GPQA-Diamond | 79.8 | 81.8 | 70.7 | 71.2 |
| MMLU-Pro | 81.0 | 84.6 | 70.1 | 65.8 |
| IFBench | 57.9 | 61.7 | 53.9 | 60.6 |
| 平均 | 79.2 | 83.2 | 69.9 | 72.7 |

 性能实

Top issues

Discussions

Latest release

Android only. macOS and iOS remain the 0.1.0 builds.

 Android (arm64, Android 13+)

edge0-0.1.1-android-arm64.apk

Built from d4a2fa02fcf0 on main, which includes https://github.com/Edge0-AI/Edge0/pull/155. versionName 0.1.1 (versionCode 2), arm64-v8a only. Signed with the same certificate as 0.1.0, so it can replace that install. Not published on Google Play. Allow installation from this source, then open the APK.

Models has Import. Choose a .gguf and the app copies it into its private storage. USB debugging is not required. For 8B, import lora_edge0_8b-gguf.gguf the same way, then load the