返回更新日志

2025年1月31日

Jan v0.6.6:增强的 llama.cpp 集成和更智能的模型管理
Jan v0.6.6: Enhanced llama.cpp integration and smarter model management

亮点 🎉

Jan v0.6.6 版本对 llama.cpp 后端进行了重大改进,引入 Hugging Face 作为内置提供商,并通过自动卸载功能带来了更智能的模型管理。此版本还包括许多 MCP(模型调用插件)优化和特定平台的增强功能。

🚀 全面重构 llama.cpp 后端

我们已全面改进了 llama.cpp 的集成:

  • 智能后端管理:后端现在能自动更新并正确保留您的设置。
  • 设备检测:Jan 可自动检测可用的 GPU 和硬件功能。
  • 直接访问 llama.cpp:模型现在直接与 llama.cpp 交互(之前通过 Cortex 隐藏)。
  • 自动迁移:您现有的模型将无缝地从 Cortex 迁移到直接的 llama.cpp 管理。
  • 更好的错误处理:当模型加载失败时,提供清晰的错误消息和可行的解决方案。
  • 单个模型设置覆盖:可为单个模型配置特定设置。

🤗 Hugging Face 云路由集成

连接到 Hugging Face 的新云推理服务。

  • 访问在各种提供商(如 Fireworks、Together AI 等)上运行的预配置模型。
  • Hugging Face 会将请求路由到最佳可用提供商。
  • 仅需您的 HF 令牌即可简化设置。
  • 提供商状态设为不可删除,以防意外移除。
  • 注意:Hub 中的直接模型 ID 搜索功能仍像以前一样可用。

🧠 更智能的模型管理

新增智能功能以优化您的系统资源。

  • 自动卸载旧模型:通过卸载未使用的模型自动释放内存。
  • 持久化设置:您的模型功能和设置现在可以在应用重启后保持不变。
  • 支持零 GPU 层:将 N-GPU 层数设置为 0 以进行纯 CPU 推理。
  • 内存计算改进:更准确的内存使用报告。

🎯 MCP 优化

增强的 MCP 体验包括:

  • 工具批准对话框改进,参数可滚动查看。
  • 更好地处理实验性功能的边缘情况。
  • 修复了工具调用按钮消失的问题。
  • JSON 编辑工具提示,使配置更容易。
  • 自动聚焦“始终允许”操作,使工作流程更顺畅。

📚 新的 MCP 集成教程

为强大的 MCP 集成提供了全面的指南。

  • Canva MCP:通过自然语言创建和管理设计——直接从聊天中生成徽标、演示文稿和营销材料。
  • Browserbase MCP:用 AI 控制云浏览器——自动化网页任务、提取数据和监控网站,无需复杂的脚本。
  • Octagon Deep Research MCP:访问以金融为重点的研究能力——分析市场、调查公司并生成投资见解。

🖥️ 平台特定改进

Windows

  • 修复了模型加载期间弹出终端窗口的问题。
  • 更好的进程终止处理。
  • 安装程序中包含 VCRuntime 以提高兼容性。
  • 改进了 NSIS 安装程序,增加了应用运行检查。

Linux

  • AppImage 现在可以与最新版本的 Tauri 正常工作,并且其大小从近 1GB 减小到不足 200MB。
  • 更好的 Wayland 兼容性。

macOS

  • 改进了构建过程和构建产物命名。

🎨 UI/UX 增强

全面的体验质量改进。

  • 修复了重命名对话线程框显示不正确线程名称的问题。
  • 助手指令现在有了正确的默认值。
  • 滚动时下载进度指示器保持可见。
  • 更好的错误页面,信息更清晰。
  • GPU 检测现在显示准确的后端信息。
  • 改进了可点击区域,以提高可用性。

🔧 开发者体验

幕后改进。

  • 使用 CUA(计算机使用自动化)的新自动化 QA 系统。
  • 跨平台的标准化构建流程。
  • 增强了错误流处理和解析。
  • 为新的下载器提供更好的代理支持。
  • 支持高级模型的推理格式。

🐛 Bug 修复

值得注意的修复包括:

  • 恢复出厂设置不再因访问被拒绝错误而失败。
  • OpenRouter 提供商能正确保持选中状态。
  • Hub 中的模型搜索仅显示最新数据。
  • 取消下载时会清理临时下载文件。
  • 旧对话线程不再出现在新对话线程之上。
  • 修复了各种平台上的编码问题。

重大变更

  • 以前由 Cortex 管理的模型现在直接与 llama.cpp 交互(包含自动迁移)。
  • 为保持一致性,已从 llama.cpp 扩展中移除了一些采样参数。
  • Cortex 扩展已弃用,以支持直接的 llama.cpp 集成。

后续计划

我们正在努力扩展 MCP 功能、提高模型下载速度并添加更多的提供商集成。敬请期待!

更新您的 Jan 或下载最新版本(在新标签页中打开)

有关完整的变更列表,请参阅 GitHub 发布说明(在新标签页中打开)