JanJan

在您的设备上本地运行 DeepSeek R1（新手友好指南）

DeepSeek R1 running locally in Jan AI interface, showing the chat interface and model settings

DeepSeek R1 是目前市场上最好的开源模型之一，您可以在自己的电脑上运行它！

刚接触本地运行 AI 模型？请先查看本地运行 AI 模型指南。它涵盖了一些基本概念，能帮助您更好地理解这篇 DeepSeek R1 指南。

DeepSeek R1 需要数据中心级别的计算机才能发挥其全部潜力，我们将使用一个在普通电脑上也能很好运行的较小版本。

为什么要使用优化版本？

  • 在标准硬件上实现高效性能
  • 更快的下载和初始化速度
  • 优化的存储需求
  • 保留了原始模型的大部分功能

快速步骤一览

  1. 下载 Jan (opens in a new tab)
  2. 选择一个模型版本
  3. 选择设置
  4. 设置提示词模板并开始使用 DeepSeek R1

让我们通过详细说明来逐步完成每个步骤。

第一步：下载 Jan

Jan (opens in a new tab) 是一款开源应用程序，能让您在本地运行 AI 模型。它支持 Windows、Mac 和 Linux。对于初学者来说，Jan 是入门的最佳选择。

Jan AI interface, showing the download button

  1. 访问 jan.ai (opens in a new tab)
  2. 下载适用于您操作系统的版本
  3. 安装应用程序

第二步：选择您的 DeepSeek R1 版本

要在您的电脑上运行像 DeepSeek R1 这样的 AI 模型，您需要一种叫做 VRAM（显存）的东西。您可以把 VRAM 想象成电脑用于处理复杂任务（如玩游戏或运行 AI 模型）的专用内存。它与普通内存（RAM）不同——VRAM 是您显卡（GPU）的一部分。

在本地运行 AI 模型就像运行一款非常精密的视频游戏——它需要专用的内存来处理所有 AI 的“思考”过程。您的 VRAM 越多，就能运行更大、更强的 AI 模型。

我们先来检查一下您的电脑有多少 VRAM。别担心，就算不多——DeepSeek R1 也有适合各种电脑的版本！

查找您的 VRAM 很简单

  • 在 Windows 上：按 Windows + R，输入 dxdiag，按 Enter，然后在“显示”选项卡下查看
  • 在 Mac 上：点击苹果菜单，选择“关于本机”，然后点击“更多信息”，在“图形卡/显示器”下查看
  • 在 Linux 上：打开终端，输入 nvidia-smi（适用于 NVIDIA GPU），或 lspci -v | grep -i vga（适用于其他显卡）
💡

没有独立显卡？ 没关系！您仍然可以运行较小版本的 DeepSeek R1。它们经过特别优化，可以在具有基本图形处理能力的电脑上运行。

了解您的 VRAM 后，以下是适合您的 DeepSeek R1 版本。如果您有：

  • 6GB VRAM：选择 1.5B 版本——它快速高效
  • 8GB VRAM：您可以运行 7B 或 8B 版本，它们性能出色
  • 16GB 或更多 VRAM：您可以使用功能更强的大模型

DeepSeek R1 精简版的可用版本及基本要求

版本模型链接所需 VRAM
Qwen 1.5BDeepSeek-R1-Distill-Qwen-1.5B-GGUF (opens in a new tab)6GB+
Qwen 7BDeepSeek-R1-Distill-Qwen-7B-GGUF (opens in a new tab)8GB+
Llama 8BDeepSeek-R1-Distill-Llama-8B-GGUF (opens in a new tab)8GB+
Qwen 14BDeepSeek-R1-Distill-Qwen-14B-GGUF (opens in a new tab)16GB+
Qwen 32BDeepSeek-R1-Distill-Qwen-32B-GGUF (opens in a new tab)16GB+
Llama 70BDeepSeek-R1-Distill-Llama-70B-GGUF (opens in a new tab)48GB+

要下载您选择的模型：

启动 Jan 并通过侧边栏导航到 Jan Hub

Jan AI interface, showing the model library

  1. 在此字段中输入模型链接

Jan AI interface, showing the model link input field

第三步：配置模型设置

配置模型时，您会遇到量化选项

量化旨在平衡性能和资源使用

  • Q4： 推荐给大多数用户——在效率和质量之间达到最佳平衡
  • Q8： 精度更高，但需要更多计算资源

第四步：配置提示词模板

最后的配置步骤

  1. 通过侧边栏访问模型设置
  2. 找到提示词模板配置
  3. 使用这个特定格式
⚠️

<|User|>{prompt}<|Assistant|>

此模板用于确保您和模型之间的正确通信。

现在您已准备好与 DeepSeek R1 互动

Jan interface, showing DeepSeek R1 running locally

需要帮助？

加入我们的 Discord 社区 (opens in a new tab)，获取支持并参与关于本地运行 AI 模型的讨论。