不用开终端：Llama Windows 把本地模型放进了 Windows 托盘
Hugging Face 与 ggml 推出 Llama Windows：把 llama.cpp 本地模型放进 Windows 托盘，不开终端也能用本地 API。
一、一个老问题
在自己的电脑上跑一个大模型，需要几步？
如果你问一个程序员，他可能会说，很简单：装好 llama.cpp，下载一个 GGUF 文件，在命令行里敲一行命令，就跑起来了。
但是，如果你问一个普通的 Windows 用户，回答可能完全不同。
"命令行是什么？"
"编译要装哪些东西？"
"为什么提示我没有管理员权限？"
这就是本地模型的"最后一公里"。模型本身已经开源，推理引擎也已经开源，但是在模型和普通人之间，还隔着一个黑乎乎的终端窗口。
10 月 13 日，Hugging Face 官方博客发布了一篇文章，介绍他们正式推出的 Llama Windows，作者是 Morgan Funtowicz、Jeff Boudier 和 Emanuil Rusev。
博客的说法是：免费开源，把 llama.cpp 放进 Windows 11 的托盘。
不需要终端，不需要编译，不需要管理员权限。
二、它是什么
据 HF 官方博客介绍，Llama Windows 是 macOS 版 llama.app 的 Windows 对应版本。
它是一个原生的 WinUI 3 应用，首发就原生支持 Windows on Arm，以及 NVIDIA 新的 RTX Spark。
装好以后，它待在屏幕右下角的托盘里，平时不占地方。
按下 Alt+Space，任何地方都能唤出一个对话浮层，直接跟本地模型聊天。
这有点像系统自带的计算器：你不用知道它是怎么算的，按一下快捷键，它就出来了。
博客还介绍了几个面板。
（1）推荐模型面板：会标出每个模型的参数量、占用磁盘大小，以及是否支持视觉（也就是能不能看图）。
（2）Available 面板：负责加载和卸载模型。
（3）如果电脑上没有装 llama.cpp，它会用官方安装器自动装好。
对于新手来说，第一个面板特别有用。
很多人下载模型时最头疼的问题，就是"这个模型我的电脑跑得动吗"。参数量和磁盘大小直接写在旁边，至少心里有个数。
三、本机上的 API 接口
如果只是一个聊天窗口，Llama Windows 并不算特别。
它真正有意思的地方在于：它会在本机起一个服务，地址是 http://localhost:9931，兼容 OpenAI 的 API 格式。
这是什么意思呢？
大家知道，现在很多脚本、工具和 Agent，都是按照 OpenAI 的接口格式写的。它们默认把请求发给云端，按 Token 收费。
如果本机有一个"长得一样"的接口，那么只要把地址改一下，这些程序就能改用本地模型，不用改别的代码。
HF 博客给的演示是这样的。
先用 curl 查一下有哪些模型：
curl http://localhost:9931/models
然后在 Python 里，把 OpenAI 客户端的地址指向本机：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:9931/v1", api_key="not-needed")
注意那个 api_key="not-needed"。
本地模型不需要密钥，但是 OpenAI 的客户端库要求必须填一个值，所以随便填一个就行。
换句话说，Llama Windows 不只是一个聊天软件，而是把你的电脑变成了一台小型的本地模型服务器。
托盘图标只是入口，真正的价值是那个 9931 端口。
四、模型放在哪里
还有一个细节，我觉得设计得很好。
据 HF 官方博客介绍，Llama Windows 下载的模型，放在标准的 HF 缓存目录：
%USERPROFILE%\.cache\huggingface\hub
这个目录跟 llama.cpp 等其他工具是共用的。
为什么这一点重要？
因为模型文件很大，动不动就是几个 GB 甚至几十个 GB。如果每个工具都自己下载一份，放在自己的目录里，硬盘很快就满了。
共用一个缓存目录，下载一次，大家都能用。
另外，博客提到，你可以填入 HF token，用来下载 gated（需要申请授权的）或私有模型；日志会保留 7 天。
五、几个数字
据 GitHub 仓库页面，代码放在 ggml-org/Llama-Windows，采用 MIT 许可证。
最新版本是 v0.12.0，2026 年 10 月 10 日发布。
截至 10 月 15 日凌晨，GitHub 显示它只有 115 颗星。
这个数字很小，但是有原因的。仓库 2026 年 6 月 29 日就创建了，正式宣布却是 10 月 13 日。按日期算，它在公开宣布之前，已经在仓库里安静地开发了三个半月左右（这是我按日期推算的）。
也就是说，大多数人是这周才知道它。
同一天，NVIDIA 也发了一篇博客，把 Llama Windows 列为 RTX Spark 生态的一部分。据 NVIDIA 博客，RTX Spark 笔记本 10 月 16 日上市。
六、它解决了什么，没解决什么
说了这么多优点，也要说一下它的边界。
Llama Windows 解决的是"装"和"用"的问题：不用终端，不用编译，点一下就能下载和运行模型。
但是，它解决不了硬件的问题。
本地模型跑得快不快，跑不跑得动，最终取决于你的显存或内存有多大，带宽有多高。一个工具做得再方便，也不能让 8GB 显存跑动一个几十 GB 的模型。
所以，推荐模型面板上那个"磁盘大小"，大家要认真看一下，先跟自己的硬件对比，再决定下载哪个。
另外，它目前面向的是 Windows 11。
七、延伸阅读：一个还没发布的模型
NVIDIA 那篇博客里，还提到了一个模型：Nemotron 3.5 Bolt 74B-A9B。
据 NVIDIA 博客的说法，它采用 2-bit QAT（量化感知训练）压缩到 24GB，每次激活 9B 参数，并称"10 月 15 日发布"。
但是要说明的是，这只是 NVIDIA 的预告。截至 10 月 15 日凌晨 3 点前后，Hugging Face 上还查不到这个模型。
所以，大家先把它当作一条预告来看。等它真正发布以后，再看它能不能在 Llama Windows 里跑起来，跑得怎么样。
八、总结
本地模型的门槛，过去主要在三个地方：装引擎、找模型、接程序。
Llama Windows 把这三件事都放进了一个托盘图标----llama.cpp 自动装，模型面板帮你挑，9931 端口让你的脚本直接调用。
它不会让你的电脑变得更强，但会让你更容易用上电脑已有的能力。
如果你用 Windows，又一直想在本地试试大模型，可以试试它。
（完）
来源：Hugging Face 博客；GitHub：ggml-org/Llama-Windows；NVIDIA 博客。Nemotron 3.5 Bolt 74B 仅为 NVIDIA 预告、尚未上架；时间跨度为作者自算。