亮点 🎉
Jan v0.6.6 版本对 llama.cpp 后端进行了重大改进,引入 Hugging Face 作为内置提供商,并通过自动卸载功能带来了更智能的模型管理。此版本还包括许多 MCP(模型调用插件)优化和特定平台的增强功能。
🚀 全面重构 llama.cpp 后端
我们已全面改进了 llama.cpp 的集成:
- 智能后端管理:后端现在能自动更新并正确保留您的设置。
- 设备检测:Jan 可自动检测可用的 GPU 和硬件功能。
- 直接访问 llama.cpp:模型现在直接与 llama.cpp 交互(之前通过 Cortex 隐藏)。
- 自动迁移:您现有的模型将无缝地从 Cortex 迁移到直接的 llama.cpp 管理。
- 更好的错误处理:当模型加载失败时,提供清晰的错误消息和可行的解决方案。
- 单个模型设置覆盖:可为单个模型配置特定设置。
🤗 Hugging Face 云路由集成
连接到 Hugging Face 的新云推理服务。
- 访问在各种提供商(如 Fireworks、Together AI 等)上运行的预配置模型。
- Hugging Face 会将请求路由到最佳可用提供商。
- 仅需您的 HF 令牌即可简化设置。
- 提供商状态设为不可删除,以防意外移除。
- 注意:Hub 中的直接模型 ID 搜索功能仍像以前一样可用。
🧠 更智能的模型管理
新增智能功能以优化您的系统资源。
- 自动卸载旧模型:通过卸载未使用的模型自动释放内存。
- 持久化设置:您的模型功能和设置现在可以在应用重启后保持不变。
- 支持零 GPU 层:将 N-GPU 层数设置为 0 以进行纯 CPU 推理。
- 内存计算改进:更准确的内存使用报告。
🎯 MCP 优化
增强的 MCP 体验包括:
- 工具批准对话框改进,参数可滚动查看。
- 更好地处理实验性功能的边缘情况。
- 修复了工具调用按钮消失的问题。
- JSON 编辑工具提示,使配置更容易。
- 自动聚焦“始终允许”操作,使工作流程更顺畅。
📚 新的 MCP 集成教程
为强大的 MCP 集成提供了全面的指南。
- Canva MCP:通过自然语言创建和管理设计——直接从聊天中生成徽标、演示文稿和营销材料。
- Browserbase MCP:用 AI 控制云浏览器——自动化网页任务、提取数据和监控网站,无需复杂的脚本。
- Octagon Deep Research MCP:访问以金融为重点的研究能力——分析市场、调查公司并生成投资见解。
🖥️ 平台特定改进
Windows
- 修复了模型加载期间弹出终端窗口的问题。
- 更好的进程终止处理。
- 安装程序中包含 VCRuntime 以提高兼容性。
- 改进了 NSIS 安装程序,增加了应用运行检查。
Linux
- AppImage 现在可以与最新版本的 Tauri 正常工作,并且其大小从近 1GB 减小到不足 200MB。
- 更好的 Wayland 兼容性。
macOS
- 改进了构建过程和构建产物命名。
🎨 UI/UX 增强
全面的体验质量改进。
- 修复了重命名对话线程框显示不正确线程名称的问题。
- 助手指令现在有了正确的默认值。
- 滚动时下载进度指示器保持可见。
- 更好的错误页面,信息更清晰。
- GPU 检测现在显示准确的后端信息。
- 改进了可点击区域,以提高可用性。
🔧 开发者体验
幕后改进。
- 使用 CUA(计算机使用自动化)的新自动化 QA 系统。
- 跨平台的标准化构建流程。
- 增强了错误流处理和解析。
- 为新的下载器提供更好的代理支持。
- 支持高级模型的推理格式。
🐛 Bug 修复
值得注意的修复包括:
- 恢复出厂设置不再因访问被拒绝错误而失败。
- OpenRouter 提供商能正确保持选中状态。
- Hub 中的模型搜索仅显示最新数据。
- 取消下载时会清理临时下载文件。
- 旧对话线程不再出现在新对话线程之上。
- 修复了各种平台上的编码问题。
重大变更
- 以前由 Cortex 管理的模型现在直接与 llama.cpp 交互(包含自动迁移)。
- 为保持一致性,已从 llama.cpp 扩展中移除了一些采样参数。
- Cortex 扩展已弃用,以支持直接的 llama.cpp 集成。
后续计划
我们正在努力扩展 MCP 功能、提高模型下载速度并添加更多的提供商集成。敬请期待!
更新您的 Jan 或下载最新版本(在新标签页中打开)。
有关完整的变更列表,请参阅 GitHub 发布说明(在新标签页中打开)。
