只需一行命令,找到电脑本地能跑起来的大模型,匹配上百个模型和型号
2026年3月3日
如果你最近在折腾本地大模型,大概率已经踩过坑了。
下了个模型,看名字挺猛。跑一下,直接卡住。要么爆内存,要么慢到几秒才蹦一个字。
然后开始查。7B、13B、量化、Q4、Q8。越看越乱。
换一个模型,再来一遍。
很多人会卡在这一步挺久的。不是机器不行,是选模型这件事太靠感觉了。
几百个模型,几百个来源。只一条命令,告诉你哪个能在你的电脑上跑。
有个项目叫 llmfit。
它做的事情挺直接。先把你电脑的配置读一遍,然后把一堆模型按条件筛一轮,最后给你一张结果表。哪些能跑,跑起来大概什么状态,一眼能看出来。
它不管下载,也不负责运行。就停在"选哪个模型"这里。但这一步,恰好是最容易浪费时间的地方。
装起来不算麻烦。
Mac 或 Linux,可以直接:
brew install llmfit
或者用它提供的脚本装:
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
Windows 稍微多一步,有三种方式,选一个顺手的就行。
最省事:用 Cargo 装。 前提是装了 Rust。没有的话先去 rustup.rs 装一下,然后:
cargo install llmfit
装完直接能用。
不想装 Rust:去 Releases 下二进制。 到 GitHub 的 Releases 页面,找最新版,下对应 Windows 的压缩包,解压,把 llmfit.exe 放到 PATH 里的某个目录,或者直接在解压目录里跑。
走 WSL 也行: 当成 Linux 装,流程完全一样。适合本来就在 WSL 里跑东西的人。
装完之后,就一行:
llmfit
界面会出来。上面是你的 CPU、内存、GPU,下面是一排模型。每个模型旁边有占用、有速度,还有一个 Fit 标记。
不用全看懂。Fit 是最有用的。
Perfect,基本就是放心用。Marginal,看着能跑,但体验一般。
我用一台 M3 Pro 跑了一下,结果挺清楚的。
(这里放图)
往下扫一眼,很快就能看到一个分界。16B 这一档,大多都很轻松,内存占用不高,速度也可以,开着用没什么压力。到了 30B,明显开始紧,占用上去了,标记也变了。
这种差别用数字写在那里,比自己反复试要直接很多。
这个工具本身没什么复杂的地方。但它把一件原本很模糊的事情提前摊开了。
先看清楚能跑什么,再决定要不要动手。比反复试要省事得多。
相关文章
Moltbot创始人:别整花活,直接和AI对话就行
这篇文章来自 Clawdbot(现已更名为Moltbot)创始人Peter Steinberger的分享整理,用AI独立开发一个30万行代码的全栈项目。 以下是他的第一人称经验分享。 AI代码生成已经好到能写我100%的代码了,但我看到太多...
2026/2/27个没人提到的Claude Code强大技巧
Anthropic的Boris最近分享了10个很棒的技巧,但我在深挖文档后发现了一些没被列入清单的强大功能。这些技巧比较技术性,但会从根本上改变你使用Claude Code的方式。 1. 用PreToolUse/PostToolUse钩子接...
2026/2/1Cursor官方:使用AI编程的最佳实践
最近,Cursor官方团队发布了一个Agent使用指南。 这篇文档来自 Cursor 团队自己如何使用 Cursor 的真实经验。读完后最大的感受是:大部分人对 AI 编程助手的理解都错了。 我们以为应该给 agent 塞满 context...
2026/1/29清晰规划+小步迭代+人类监督:AI编程避坑的三大铁律
在Anthropic,90%的Claude Code代码由AI自己编写。但这不是魔法——把AI当作需要指导的初级程序员,你对代码质量负最终责任。 从规划开始 很多人犯的第一个错误是直接让AI写代码。 正确的做法是先花时间规划。描述你的想法,...
2026/1/27