自托管 Jan 平台

Jan Server 使用 Kubernetes 将 Jan AI 平台部署在您自己的基础设施上。它提供了一个完整的人工智能推理堆栈，包括 API 网关、模型服务和数据持久化。

Jan Server 尚处于早期开发阶段。API 和部署方法可能会发生变化。

架构概述

Jan Server 由两个主要组件构成

• API 网关：处理身份验证、Web 请求和外部集成的 Go 应用程序
• 推理模型：运行 Jan-v1-4B 模型进行 AI 推理的 VLLM 服务器
• PostgreSQL：用于存储用户数据、对话和系统状态的数据库

主要功能

• Kubernetes 原生：通过 Helm charts 部署，支持 minikube
• Jan-v1 模型：为推理和工具使用而优化的 4B 参数模型
• 兼容 OpenAI 的 API：用于集成的标准端点
• 身份验证：JWT 令牌和 OAuth2 Google 集成
• 外部集成：用于网络搜索功能的 Serper API
• 开发就绪：支持热重载的本地开发环境