返回更新日志

2025年8月7日

Jan v0.6.7:支持 OpenAI gpt-oss 并增强 MCP 教程
Jan v0.6.7: OpenAI gpt-oss support and enhanced MCP tutorials

亮点 🎉

Jan v0.6.7 版本全面支持 OpenAI 开创性的开放权重模型 gpt-oss-120b 和 gpt-oss-20b,同时提供了增强的 MCP 文档,并修复了推理模型的关键错误。

🚀 现已支持 OpenAI gpt-oss 模型

Jan 现在全面支持 OpenAI 自 GPT-2 以来的首批开放权重语言模型。

gpt-oss-120b

  • 总参数 1170 亿,每个 token 激活参数 51 亿
  • 可在单张 80GB GPU 上高效运行
  • 在推理基准测试中与 OpenAI o4-mini 表现近乎持平
  • 卓越的工具使用和函数调用能力

gpt-oss-20b

  • 总参数 210 亿,每个 token 激活参数 36 亿
  • 仅需 16GB 内存即可在边缘设备上运行
  • 性能与 OpenAI o3-mini 相当
  • 非常适合本地推理和快速迭代

这两款模型均采用混合专家(MoE)架构,支持高达 128k token 的上下文长度。它们原生以 MXFP4 格式进行量化,以实现高效的内存使用。

🎮 GPU 层配置

由于模型较大,您可能需要根据硬件调整 GPU 层数。

GPU layers setting adjusted for optimal performance

请从默认设置开始,如果遇到内存不足错误,则减少层数。每个系统根据可用显存(VRAM)需要不同的配置。

📚 全新的 Jupyter MCP 教程

我们为 Jupyter MCP 集成添加了全面的文档。

  • 实时的 notebook 交互和代码执行
  • 包含 Python 环境管理的分步设置指南
  • 用于数据分析和可视化的示例工作流程
  • 代码执行的安全最佳实践
  • 性能优化技巧

该教程演示了如何将 Jan 转变为一个强大的数据科学伙伴,它能够执行分析、创建可视化,并根据实际结果进行迭代。

🔧 错误修复

修复了推理模型支持的关键问题。

  • 已修复推理文本包含问题:推理文本不再被错误地包含在聊天补全请求中。
  • 已修复思考块显示问题:gpt-oss 的思考块现在可以在用户界面中正常渲染。
  • 已修复 React 状态循环问题:解决了 useMediaQuery 钩子导致的无限重渲染问题。

使用 gpt-oss 模型

从 Hub 下载

所有 gpt-oss 的 GGUF 版本都可以在 Jan Hub 中找到。只需搜索“gpt-oss”并选择适合您硬件的量化版本即可。

模型能力

两款模型都擅长:

  • 推理任务:编程竞赛、数学和问题解决。
  • 工具使用:网页搜索、代码执行和函数调用。
  • CoT 推理:完整的思维链(chain-of-thought)可见性,便于监控。
  • 结构化输出:支持 JSON schema 强制和语法约束。

性能提示

  • 内存需求:gpt-oss-120b 需要约 80GB,gpt-oss-20b 需要约 16GB。
  • GPU 层数:根据您的显存(VRAM)进行调整(从高值开始,如果需要则降低)。
  • 上下文大小:两款模型都支持高达 128k token。
  • 量化:选择较低的量化版本以减少内存占用。

后续计划

我们将继续优化大型模型的性能,扩展 MCP 集成,并改善在本地运行前沿开放模型的整体体验。

更新您的 Jan 或下载最新版本(在新标签页中打开)

有关完整的变更列表,请参阅 GitHub 发布说明(在新标签页中打开)