LLMFit 标志 LLMFit

面向硬件的本地 AI 运营

让开发者、平台团队和企业客户更快完成本地模型选型。

LLMFit 会检测 CPU、内存、GPU、VRAM、本地运行时与可用后端, 然后给出这台机器真正能跑、值得跑、适合放到流程里的开源模型推荐。 它把“凭感觉挑模型”变成一套可以落地到终端、API 和内部平台的判断逻辑。

$ curl -fsSL https://raw.githubusercontent.com/miounet11/llmfit/main/install.sh | sh
569 当前内置模型目录中的条目数量
142 已覆盖的模型提供方名称数量
4 交付形态:TUI、CLI、REST API 与 macOS 桌面端
LLMFit 终端界面演示

LLMFit 基于 Alex Jones 发布的 MIT 协议原始项目构建,并在这里被包装为更完整、 更可部署、更适合团队使用的开源产品形态。

产品能力

把本地 AI 的硬件评估变成可复用流程。

LLMFit 不是又一个模型榜单站。它关心的是你的机器、你的运行时、你的目标吞吐, 以及这些条件下模型是否真的可用。

识别机器画像

自动检测系统内存、CPU 拓扑、GPU 类型、VRAM、后端能力和本地模型提供方安装状态。

排序真正可跑的模型

从适配度、速度、上下文和质量等维度综合打分,而不是默认所有机器都能跑同一类模型。

把结论接入流程

可以用 TUI 做交互式判断,也可以通过 CLI 或 REST API 把选型结果交给内部系统使用。

采购前先做规划

通过计划模式反推需要多少内存、显存和 CPU 才能支撑目标模型与目标吞吐,避免先买错机器。

面向人群

服务真实的本地 AI 交付场景。

这个站点的产品包装借鉴了 Ollama、uv、Open WebUI 这类工具型开源项目的高可用表达方式, 但核心焦点始终是“模型与硬件的匹配”。

本地 AI 开发者

在下载模型之前判断笔记本、工作站或边缘设备究竟适合跑哪类代码、推理或多模态模型。

平台与基础设施团队

把不同节点应该运行哪些模型沉淀成标准答案,再暴露给内部平台、调度器或门户系统。

方案顾问与运维团队

把“这台机器适合跑什么模型”变成可复核、可交付、可向客户解释的专业建议流程。

Homelab 与边缘用户

在有限内存、混合 CPU/GPU、国产显卡或多节点环境里,选出更务实的本地模型路线。

使用入口

按任务选择合适的交互层。

TUI

在终端里实时筛选、对比和查看推荐结果,也支持计划模式进行硬件反推。

llmfit

CLI

输出 JSON 或表格结果,用于脚本化检查、自动化部署前校验和重复性审计。

llmfit recommend --json --use-case coding --limit 5

REST API

在节点上运行 `llmfit serve`,让调度器、Agent 或门户系统以 HTTP 方式复用同一套判断逻辑。

llmfit serve --host 0.0.0.0 --port 8787

Desktop

如果你更偏好图形化入口,可以使用 macOS 桌面端封装同样的适配逻辑。

cargo tauri build

站点结构

一个独立专业站点需要的内容都在这里。

站点已经覆盖产品定位、技术文档、API 接入、自托管与对比型内容, 可以作为独立品牌资产对外展示。

开源且可部署

先把选型与站点搭好,再逐步接入你的域名和流程。

仓库已经包含运行时工具、品牌站点、部署说明和上线所需的服务端路径。