面向硬件的本地 AI 运营
让开发者、平台团队和企业客户更快完成本地模型选型。
LLMFit 会检测 CPU、内存、GPU、VRAM、本地运行时与可用后端, 然后给出这台机器真正能跑、值得跑、适合放到流程里的开源模型推荐。 它把“凭感觉挑模型”变成一套可以落地到终端、API 和内部平台的判断逻辑。
curl -fsSL https://raw.githubusercontent.com/miounet11/llmfit/main/install.sh | sh
LLMFit 基于 Alex Jones 发布的 MIT 协议原始项目构建,并在这里被包装为更完整、 更可部署、更适合团队使用的开源产品形态。
产品能力
把本地 AI 的硬件评估变成可复用流程。
LLMFit 不是又一个模型榜单站。它关心的是你的机器、你的运行时、你的目标吞吐, 以及这些条件下模型是否真的可用。
识别机器画像
自动检测系统内存、CPU 拓扑、GPU 类型、VRAM、后端能力和本地模型提供方安装状态。
排序真正可跑的模型
从适配度、速度、上下文和质量等维度综合打分,而不是默认所有机器都能跑同一类模型。
把结论接入流程
可以用 TUI 做交互式判断,也可以通过 CLI 或 REST API 把选型结果交给内部系统使用。
采购前先做规划
通过计划模式反推需要多少内存、显存和 CPU 才能支撑目标模型与目标吞吐,避免先买错机器。
面向人群
服务真实的本地 AI 交付场景。
这个站点的产品包装借鉴了 Ollama、uv、Open WebUI 这类工具型开源项目的高可用表达方式, 但核心焦点始终是“模型与硬件的匹配”。
本地 AI 开发者
在下载模型之前判断笔记本、工作站或边缘设备究竟适合跑哪类代码、推理或多模态模型。
平台与基础设施团队
把不同节点应该运行哪些模型沉淀成标准答案,再暴露给内部平台、调度器或门户系统。
方案顾问与运维团队
把“这台机器适合跑什么模型”变成可复核、可交付、可向客户解释的专业建议流程。
Homelab 与边缘用户
在有限内存、混合 CPU/GPU、国产显卡或多节点环境里,选出更务实的本地模型路线。
使用入口
按任务选择合适的交互层。
TUI
在终端里实时筛选、对比和查看推荐结果,也支持计划模式进行硬件反推。
llmfit
CLI
输出 JSON 或表格结果,用于脚本化检查、自动化部署前校验和重复性审计。
llmfit recommend --json --use-case coding --limit 5
REST API
在节点上运行 `llmfit serve`,让调度器、Agent 或门户系统以 HTTP 方式复用同一套判断逻辑。
llmfit serve --host 0.0.0.0 --port 8787
Desktop
如果你更偏好图形化入口,可以使用 macOS 桌面端封装同样的适配逻辑。
cargo tauri build
站点结构
一个独立专业站点需要的内容都在这里。
站点已经覆盖产品定位、技术文档、API 接入、自托管与对比型内容, 可以作为独立品牌资产对外展示。
开源且可部署
先把选型与站点搭好,再逐步接入你的域名和流程。
仓库已经包含运行时工具、品牌站点、部署说明和上线所需的服务端路径。