新手入门：如何在本地运行 AI 模型？
大多数人认为在本地运行 AI 模型很复杂。其实不然。任何人都可以像使用 DeepSeek、Llama 和 Mistral 一样，在自己的电脑上运行强大的 AI 模型。本指南将向您展示如何操作，即使您从未写过一行代码。
快速上手指南：
1. 下载 Jan (在新标签页中打开)
从 jan.ai (在新标签页中打开) 下载 Jan——它免费且开源。
2. 选择适合您硬件的模型
Jan 会帮助您为您的电脑选择合适的 AI 模型。
3. 开始在本地使用 AI
这就是在本地运行您的第一个 AI 模型所需的全部步骤！
Jan 安装后易于使用的聊天界面。
请继续阅读，了解本地 AI 的关键术语以及在本地运行 AI 模型前需要了解的事项。
本地 AI 的工作原理
在深入细节之前，让我们先了解 AI 是如何在您的电脑上运行的。
为什么我们需要专门的工具来运行本地 AI？ 把 AI 模型想象成压缩文件——它们需要被“解压”才能在您的电脑上工作。像 llama.cpp 这样的工具就是做这个工作的。
- 它们能让 AI 模型在普通电脑上高效运行。
- 将复杂的 AI 数学运算转换为您的电脑能理解的东西。
- 即使在资源有限的情况下，也能帮助运行大型 AI 模型。
llama.cpp 帮助数百万人在他们的电脑上本地运行 AI。
什么是 GGUF？为什么我们需要它？
原始的 AI 模型既庞大又复杂——就像试图用您的电脑不理解的语言阅读一本书。这时候 GGUF 就派上用场了。
-
它解决的问题
- 原始 AI 模型太大（数百 GB）
- 它们是为专门的 AI 计算机设计的
- 它们占用太多内存
-
GGUF 如何提供帮助
- 将模型转换为更小的尺寸
- 使它们能在普通电脑上运行
- 在减少内存使用的同时保持 AI 的智能
在浏览模型时，您会看到名称中包含“GGUF”（例如“DeepSeek-R1-GGUF”）。别担心找不到它们——Jan 会自动为您显示适合您电脑的 GGUF 版本。
了解 AI 模型
把 AI 模型想象成您电脑上的应用程序——有些轻巧快捷，而另一些则更大但功能更多。当您选择要在电脑上运行的 AI 模型时，您会看到像“Llama-3-8B”或“Mistral-7B”这样的名称。让我们用简单的术语来解释这意味着什么。
模型名称中的“B”（如 7B）代表“十亿”——它只是告诉您 AI 模型的大小。就像某些应用程序在您的电脑上占用更多空间一样，更大的 AI 模型也需要更多的电脑空间。
- 较小的模型（1-7B）：在大多数电脑上运行良好。
- 较大的模型（13B+）：需要更强大的电脑，但能完成更复杂的任务。
Jan Hub 让您轻松了解不同的模型大小和版本
好消息： Jan 会自动帮助您选择适合您电脑的模型大小！您无需担心技术细节——只需选择 Jan 为您的电脑推荐的模型即可。
本地 AI 的应用场景
在本地运行 AI 为您带来：
- 完全的隐私——您的数据保留在您的电脑上
- 无需网络——可离线工作
- 完全的控制——您决定使用哪些模型
- 免费使用——无订阅费用
硬件要求
在下载 AI 模型之前，建议检查您的电脑是否可以运行它。以下是一个基本指南：
您的电脑基本需求
- 一个不错的处理器（CPU）——过去 5 年内的大多数电脑都可以
- 至少 8GB 内存（RAM）——16GB 或更多更好
- 一些可用存储空间——建议至少 5GB
您的电脑能运行哪些模型？
| 普通笔记本电脑 | 3B-7B 模型 | 适合聊天和写作。就像拥有一个乐于助人的助手。 |
| 游戏笔记本电脑 | 7B-13B 模型 | 功能更强大。更擅长编码和分析等复杂任务。 |
| 高性能台式机 | 13B+ 模型 | 性能更佳。非常适合专业工作和高级任务。 |
不确定您的电脑配置？ 从较小的模型（3B-7B）开始——Jan 会帮助您选择一个在您的系统上运行良好的模型。
开始使用模型
模型版本
在 Jan 中浏览模型时，您会看到像“Q4”、“Q6”或“Q8”这样的术语。以下是它们的简单解释：
这些是同一个 AI 模型的不同版本，只是打包方式不同，以便在不同电脑上更好地工作。
- Q4 版本：就像应用程序的“轻量版”——运行速度快，适用于大多数电脑。
- Q6 版本：是“标准版”——在速度和质量之间取得良好平衡。
- Q8 版本：是“高级版”——质量最高，但需要更强大的电脑。
专业提示：从 Q4 版本开始——它们对大多数人来说效果很好，并且在普通电脑上运行流畅！
从 Hugging Face 获取模型
在下载 AI 模型时，您经常会看到指向“Hugging Face”的链接。把 Hugging Face 想象成“AI 界的 GitHub”——这是 AI 社区分享模型的地方。Jan 使其使用变得超级简单：
- Jan 内置了与 Hugging Face 的连接。
- 您可以直接从 Jan 的界面下载模型。
- 除非您想探索更多选项，否则无需访问 Hugging Face 网站。
配置您的本地 AI
从 Hugging Face 获取模型
在下载 AI 模型时，您经常会看到指向“Hugging Face”的链接。把 Hugging Face 想象成“AI 界的 GitHub”——这是 AI 社区分享模型的地方。这听起来可能很技术性，但 Jan 使其使用变得超级简单。
- Jan 内置了与 Hugging Face 的连接。
- 您可以直接从 Jan 的界面下载模型。
- 除非您想探索更多选项，否则无需访问 Hugging Face 网站。
是什么驱动着本地 AI？ Jan 使用 llama.cpp (在新标签页中打开)，这是一种推理引擎，能让 AI 模型在普通电脑上高效运行。它就像一个翻译器，帮助 AI 模型“说”您的电脑的语言，使它们运行更快并占用更少内存。
1. 开始使用
从 jan.ai (在新标签页中打开) 下载 Jan——它会为您设置好一切。
2. 获取 AI 模型
您可以通过两种方式获取模型：
1. 使用 Jan Hub（推荐）：
- 在 Jan 中点击“下载模型”
- 选择一个推荐的模型
- 选择一个适合您电脑的模型
使用 Jan Hub 下载 AI 模型
2. 使用 Hugging Face：
重要提示：只有 GGUF 模型才能与 Jan 配合使用。请确保使用名称中包含“GGUF”的模型。
第 1 步：获取模型链接
从 Hugging Face (在新标签页中打开) 查找并复制一个 GGUF 模型链接。
寻找名称中带有“GGUF”的模型
第 2 步：打开 Jan
启动 Jan 并转到“模型”选项卡。
在 Jan 中导航到“模型”部分
第 3 步：添加模型
将您的 Hugging Face 链接粘贴到 Jan 中。
在此处粘贴您的 GGUF 模型链接
第 4 步：下载
选择您的量化版本并开始下载。
选择您偏好的模型大小并下载
常见问题
“我的电脑没有显卡——我还能使用 AI 吗？”
可以！它会运行得慢一些，但仍然可以工作。建议从 7B 模型开始。
“我应该从哪个模型开始？”
首先尝试一个 7B 模型——它在智能和速度之间取得了最佳平衡。
“它会减慢我的电脑速度吗？”
只在您使用 AI 时会。关闭其他大型程序以获得更好的速度。
需要帮助？
加入我们的 Discord 社区 (在新标签页中打开) 以获得支持。