亮点 🎉
Jan v0.6.7 版本全面支持 OpenAI 开创性的开放权重模型 gpt-oss-120b 和 gpt-oss-20b,同时提供了增强的 MCP 文档,并修复了推理模型的关键错误。
🚀 现已支持 OpenAI gpt-oss 模型
Jan 现在全面支持 OpenAI 自 GPT-2 以来的首批开放权重语言模型。
gpt-oss-120b
- 总参数 1170 亿,每个 token 激活参数 51 亿
- 可在单张 80GB GPU 上高效运行
- 在推理基准测试中与 OpenAI o4-mini 表现近乎持平
- 卓越的工具使用和函数调用能力
gpt-oss-20b
- 总参数 210 亿,每个 token 激活参数 36 亿
- 仅需 16GB 内存即可在边缘设备上运行
- 性能与 OpenAI o3-mini 相当
- 非常适合本地推理和快速迭代
这两款模型均采用混合专家(MoE)架构,支持高达 128k token 的上下文长度。它们原生以 MXFP4 格式进行量化,以实现高效的内存使用。
🎮 GPU 层配置
由于模型较大,您可能需要根据硬件调整 GPU 层数。

请从默认设置开始,如果遇到内存不足错误,则减少层数。每个系统根据可用显存(VRAM)需要不同的配置。
📚 全新的 Jupyter MCP 教程
我们为 Jupyter MCP 集成添加了全面的文档。
- 实时的 notebook 交互和代码执行
- 包含 Python 环境管理的分步设置指南
- 用于数据分析和可视化的示例工作流程
- 代码执行的安全最佳实践
- 性能优化技巧
该教程演示了如何将 Jan 转变为一个强大的数据科学伙伴,它能够执行分析、创建可视化,并根据实际结果进行迭代。
🔧 错误修复
修复了推理模型支持的关键问题。
- 已修复推理文本包含问题:推理文本不再被错误地包含在聊天补全请求中。
- 已修复思考块显示问题:gpt-oss 的思考块现在可以在用户界面中正常渲染。
- 已修复 React 状态循环问题:解决了 useMediaQuery 钩子导致的无限重渲染问题。
使用 gpt-oss 模型
从 Hub 下载
所有 gpt-oss 的 GGUF 版本都可以在 Jan Hub 中找到。只需搜索“gpt-oss”并选择适合您硬件的量化版本即可。
模型能力
两款模型都擅长:
- 推理任务:编程竞赛、数学和问题解决。
- 工具使用:网页搜索、代码执行和函数调用。
- CoT 推理:完整的思维链(chain-of-thought)可见性,便于监控。
- 结构化输出:支持 JSON schema 强制和语法约束。
性能提示
- 内存需求:gpt-oss-120b 需要约 80GB,gpt-oss-20b 需要约 16GB。
- GPU 层数:根据您的显存(VRAM)进行调整(从高值开始,如果需要则降低)。
- 上下文大小:两款模型都支持高达 128k token。
- 量化:选择较低的量化版本以减少内存占用。
后续计划
我们将继续优化大型模型的性能,扩展 MCP 集成,并改善在本地运行前沿开放模型的整体体验。
更新您的 Jan 或下载最新版本(在新标签页中打开)。
有关完整的变更列表,请参阅 GitHub 发布说明(在新标签页中打开)。
