README

llmfit


  



  English ·
  中文 ·
  日本語



  
  
  
  


  


探索你的硬件能轻松运行哪些开源大语言模型（LLM）。llmfit 会检查你的 CPU、系统 RAM、GPU、显存（VRAM）以及加速器配置，推荐支持各类主流量化格式的模型。

📊 新功能：基准测试与共享 — 来自你机器的真实数据，让所有人的估算更准确。 下载模型、运行服务并在你的硬件上实测真实 tok/s — 然后直接从 TUI 将结果以 PR 形式贡献回项目。无需 gh CLI，也无需第三方账号。每次测试都会先保存在本地，你自己的实测数据会替换适配表中的估算值，每条合并的提交都会随下一个版本发布：相同硬件的用户无需自己运行基准测试，就能获得实测 ✓ 数据。按步骤查看基准测试指南 →

!llmfit demo: searching for a model, simulating different hardware, and planning a deployment

 功能特性

- 硬件自动检测：自动检测 CPU 核心数、系统 RAM、可用的独立/集成 GPU、显存（VRAM）以及统一内存架构（NVIDIA CUDA、Apple Silicon、AMD ROCm、Intel OneAPI）。
- 模型兼容性引擎：深入分析模型参数量、上下文长度及量化格式（GGUF、AWQ、GPTQ、EXL2），精准预估内存占用与每秒生成 Token 速度（tokens-per-second）。
- 交互式 TUI 与 Web 控制台：可在轻量级、零依赖的终端界面与功能丰富的 Web 仪表盘之间自由选择。
- REST API 接口：对外暴露标准 HTTP JSON 端点（/api/v1/system、/api/v1/models），便于无缝集成至编排器、控制台和自动化部署流水线中。
- 多平台支持：支持 macOS（Apple Silicon 与 Intel）、Linux（x86_64 与 ARM64）以及 Windows（x86_64）。
- 数百款模型与服务提供商。一条命令即可找出最适合你硬件的模型。

一款终端工具，根据你系统的 RAM、CPU 和 GPU 为 LLM 模型匹配最合适的规格。自动检测硬件，从质量、速度、适配度和上下文四个维度为每个模型打分，告诉你哪些模型能在你的机器上流畅运行。

内置交互式 TUI（默认）和经典 CLI 模式。支持多 GPU 配置、MoE（混合专家）架构、动态量化选择、速度估算，以及本地运行时提供商（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）。

---

 姐妹项目

- sympozium — 在 Kubernetes 中管理 Agent。
- llmserve — 用于服务本地 LLM 模型的简单 TUI。选择模型、选择后端、开启服务。
- llama-panel — 用于管理本地 llama-server 实例的原生 macOS 应用。
- llmfit-gui — 适用于 llmfit 的 Windows 桌面图形界面（PowerShell + WinForms）：浏览推荐、一键下载至 LM Studio/Ollama 并执行基准测试。

---

 文档导航

|  |  |
|---|---|
| 入门指南 | 安装 · 使用 · 工作原理 |
| 功能指南 | TUI 指南 · 基准测试分步指南 · CLI 与自动化 · 运行时提供商 · OpenClaw 集成 |
| 技术参考 | 完整工作原理 · 平台与 GPU 支持 · 自定义模型 · 开发指南 |
| 项目信息 | 参与贡献 · 其他替代方案 · 代码签名 · 开源许可证 |

---

 安装

 Windows
sh
scoop install llmfit


如果尚未安装 Scoop，请参阅 Scoop 安装指南。

 macOS / Linux

 Homebrew

预编译二进制文件（推荐，适用于所有 macOS/Linux 版本）：
sh
brew install AlexsJones/llmfit/llmfit


或通过 homebrew-core formula 安装（在无预编译 bottle 的 macOS 版本上会从源码构建）：
sh
brew install llmfit


 MacPorts
sh
port install llmfit


 一键脚本安装
sh
curl -fsSL https://llmfit.axjns.dev/install.sh | sh


从 GitHub 下载最新的发布二进制文件并安装至 /usr/local/bin（若无 sudo 权限则安装至 ~/.local/bin）。

无需 sudo 安装到 ~/.local/bin：
sh
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local


 uv / pip
安装或更新 llmfit：
sh
uv tool install -U llmfit


免安装直接运行：
sh
uvx llmfit


你也可以像普通 Python 包一样使用 pip 或 uv 进行常规安装。

 预编译二进制文件

直接从 GitHub Releases 页面下载适用于 Linux、macOS 和 Windows 的发布二进制文件。仅当该版本的完整 sign-windows CI 任务成功（包括签名、重新打包、工件替换和校验和上传）时，Windows 二进制文件才会被数字签名；如果签名被跳过或失败，发布页面可能仍然提供未签名的 Windows 工件。如果需要已签名的二进制文件，请在运行前验证可执行文件签名。

---

 容器化部署

llmfit 提供多架构 Docker 镜像（ghcr.io/alexsjones/llmfit），同时支持交互式 CLI/TUI 与无界面的 Web UI / API 服务器模式。

 交互式 TUI

如需启动交互式 TUI 界面，请传入全局 --tui 参数：

sh
docker run -it --rm ghcr.io/alexsjones/llmfit --tui


 非交互式模式

直接输出 llmfit recommend 命令的 JSON 格式结果：

sh
docker run ghcr.io/alexsjones/llmfit


该命令会输出 llmfit recommend 的 JSON 结果，可结合 jq 进一步查询过滤：
sh
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'


 从源码构建
sh
git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --r

Top issues

Discussions

Latest release

1.1.20 (2026-11-03)


 Bug Fixes

 NVFP4 and MXFP4 safetensors repos are no longer offered as llama.cpp fits, so they don't top the list on ROCm and CPU machines (1230)
 39 large models now have real attention-head counts from their config.json (including Llama-3.1-405B and MiniMax-M1), so --cluster can check their tensor-parallel splits (1230)
 diff and the TUI compare view no longer put a model that doesn't fit, or whose cluster split is refused, ahead of one that fits (1230)
 cluster: the banner shows the VRAM pool actually used when --memory is set (1230)
 cluster: Ray discovery sets backe