README

一个用于体验尖端 LLM 推理/微调优化的灵活框架
  🎯 概览 | 🚀 推理 | 🎓 SFT | 🔥 引用 


 🎯 概览

KTransformers 是一个专注于通过 CPU-GPU 异构计算实现大语言模型高效推理和微调的研究项目。目前两个面向用户的能力都来自 kt-kernel 源码目录：推理 和 SFT。

 🔥 更新

 2026 年 10 月 8 日：公开 KTransformers-FineTune（KT-FT） 作者预印本，介绍通过布局优化与动态调度实现高效 MoE 异构协同微调的方法。论文与引用 · PDF。
 2026 年 8 月 25 日：上传了全新的易用版 KTransformers × LlamaFactory MoE 微调 Cookbook，覆盖硬件检查、环境安装、BF16/FP8/INT8 配置、LoRA 与全量微调、资源规划及故障排查。
 2026 年 8 月 17 日：LoRA 微调支持兼容 AVX512 的 x86 CPU，包括 AMD 服务器，无需依赖 AMX。（v0.7.0 Release Notes）
 2026 年 8 月 5 日：新增原生 block-FP8 LoRA 微调，可直接加载 checkpoint 中的 FP8 Routed Expert 权重，无需生成完整的 BF16 权重副本。（PR 2141）
 2026 年 7 月 23 日：新增面向 MoE 模型的端到端 BF16 全量微调，并支持保存完整 checkpoint。（PR 2094）
 2026 年 4 月 30 日：KTransformers v0.6.1 更新 kt-kernel 推理和 SFT 文档，提供独立的推理和 SFT Quick Start入口。
 2025 年 12 月 5 日：支持原生 Kimi-K2-Thinking 推理（教程）
 2025 年 11 月 6 日：支持 Kimi-K2-Thinking 推理（教程）和微调（教程）
 2025 年 11 月 4 日：KTransformers 微调 × LLaMA-Factory 集成（教程）
 2025 年 10 月 27 日：支持昇腾 NPU（教程）
 2025 年 10 月 10 日：集成到 SGLang（路线图，博客）
 2025 年 9 月 11 日：支持 Qwen3-Next（教程）
 2025 年 9 月 5 日：支持 Kimi-K2-0905（教程）
 2025 年 7 月 26 日：支持 SmallThinker 和 GLM4-MoE（教程）
 2025 年 7 月 11 日：支持 Kimi-K2（教程）
 2025 年 6 月 30 日：支持 3 层（GPU-CPU-磁盘）前缀缓存复用
 2025 年 5 月 14 日：支持 Intel Arc GPU（教程）
 2025 年 4 月 29 日：支持 AMX-Int8、AMX-BF16 和 Qwen3MoE（教程）
 2025 年 4 月 9 日：实验性支持 LLaMA 4 模型（教程）
 2025 年 4 月 2 日：支持多并发（教程）
 2025 年 3 月 15 日：支持 AMD GPU 上的 ROCm（教程）
 2025 年 3 月 5 日：支持 unsloth 1.58/2.51 位权重和 IQ1_S/FP8 混合权重。在 24GB VRAM 中支持 DeepSeek-V3 和 R1 的 139K 更长上下文
 2025 年 2 月 25 日：为 DeepSeek-V3 和 R1 支持 FP8 GPU 内核；更长上下文
 2025 年 2 月 15 日：更长上下文（24GB VRAM 从 4K 到 8K）& 速度稍快（+15%，最高 16 Tokens/s），更新文档和在线手册
 2025 年 2 月 10 日：支持 Deepseek-R1 和 V3 在单 GPU（24GB VRAM）/多 GPU 和 382GB DRAM 上运行，速度提升高达 3~28 倍。详细案例展示和复现教程请参见这里
 2024 年 8 月 28 日：将 DeepseekV2 所需的 VRAM 从 21GB 降低到 11GB
 2024 年 8 月 15 日：更新了关于注入和多 GPU 的详细教程
 2024 年 8 月 14 日：支持 llamfile 作为线性后端
 2024 年 8 月 12 日：支持多 GPU；支持新模型：mixtral 8\7B 和 8\22B；支持 GPU 上的 q2k、q3k、q5k 去量化
 2024 年 8 月 9 日：支持 Windows 原生环境

---

 📦 功能入口

 🚀 推理 - kt-kernel 高性能推理

用于异构 LLM 推理的 CPU 优化内核操作。

!image-20251011010558909

主要特性：
- AMX/AVX 加速：Intel AMX 和 AVX512/AVX2 优化的内核，用于 INT4/INT8 量化推理
- MoE 优化：高效的专家混合推理，具有 NUMA 感知内存管理
- 量化支持：CPU 端 INT4/INT8 量化权重，GPU 端 GPTQ 支持
- 易于集成：为 SGLang 和其他框架提供简洁的 Python API

快速开始：
bash
cd kt-kernel
pip install .


使用场景：

- 大型 MoE 模型的 CPU-GPU 混合推理
- 与 SGLang 集成用于生产服务
- 异构专家放置（热专家在 GPU 上，冷专家在 CPU 上）

性能示例：
| 模型 | 硬件配置 | 总吞吐量 | 输出吞吐量 |
|-------|------------------------|------------------|-------------------|
| DeepSeek-R1-0528 (FP8) | 8×L20 GPU + Xeon Gold 6454S | 227.85 tokens/s | 87.58 tokens/s（8 路并发）|

👉 完整文档 →

---

 🎓 SFT - LlamaFactory 微调

研究论文： KTransformers-FineTune（KT-FT） · PDF。

KTransformers × LlamaFactory 集成，面向超大 MoE 模型微调。新的 Cookbook 提供从硬件检查、环境安装到 BF16/FP8/INT8 配置、LoRA/全量训练、资源规划和故障排查的易用流程。

支持 Kimi K2.5 / K2.6 LoRA 微调，保留 routed experts 的原生 RAWINT4 权重。参见 PyPI 安装、训练、续训与 SGLang 推理教程。端到端实机验证使用 Kimi K2.5；K2.6 沿用相同模型架构路径。

!LlamaFactory 与 KTransformers MoE 微调架构

主要特性:
- 多后端支持: CPU/GPU 混合微调，支持 INT8/INT4 量化
- 超大 MoE 支持: 在有限 GPU 内存下微调 Deep