只需一行命令,找到电脑本地能跑起来的大模型,匹配上百个模型和型号

2026年3月3日

如果你最近在折腾本地大模型,大概率已经踩过坑了。

下了个模型,看名字挺猛。跑一下,直接卡住。要么爆内存,要么慢到几秒才蹦一个字。

然后开始查。7B、13B、量化、Q4、Q8。越看越乱。

换一个模型,再来一遍。

很多人会卡在这一步挺久的。不是机器不行,是选模型这件事太靠感觉了。

几百个模型,几百个来源。只一条命令,告诉你哪个能在你的电脑上跑。

有个项目叫 llmfit。

它做的事情挺直接。先把你电脑的配置读一遍,然后把一堆模型按条件筛一轮,最后给你一张结果表。哪些能跑,跑起来大概什么状态,一眼能看出来。

它不管下载,也不负责运行。就停在"选哪个模型"这里。但这一步,恰好是最容易浪费时间的地方。

装起来不算麻烦。

Mac 或 Linux,可以直接:

brew install llmfit

或者用它提供的脚本装:

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Windows 稍微多一步,有三种方式,选一个顺手的就行。

最省事:用 Cargo 装。 前提是装了 Rust。没有的话先去 rustup.rs 装一下,然后:

cargo install llmfit

装完直接能用。

不想装 Rust:去 Releases 下二进制。 到 GitHub 的 Releases 页面,找最新版,下对应 Windows 的压缩包,解压,把 llmfit.exe 放到 PATH 里的某个目录,或者直接在解压目录里跑。

走 WSL 也行: 当成 Linux 装,流程完全一样。适合本来就在 WSL 里跑东西的人。

装完之后,就一行:

llmfit

界面会出来。上面是你的 CPU、内存、GPU,下面是一排模型。每个模型旁边有占用、有速度,还有一个 Fit 标记。

不用全看懂。Fit 是最有用的。

Perfect,基本就是放心用。Marginal,看着能跑,但体验一般。

我用一台 M3 Pro 跑了一下,结果挺清楚的。

(这里放图)

往下扫一眼,很快就能看到一个分界。16B 这一档,大多都很轻松,内存占用不高,速度也可以,开着用没什么压力。到了 30B,明显开始紧,占用上去了,标记也变了。

这种差别用数字写在那里,比自己反复试要直接很多。

这个工具本身没什么复杂的地方。但它把一件原本很模糊的事情提前摊开了。

先看清楚能跑什么,再决定要不要动手。比反复试要省事得多。