我通过全面的信息抓取和搜索结果，分析了多个 2024-2025 年发布的长上下文大语言模型性能基准测试。以下是主要基准测试的结构化对比：

1. Loong (2024)

• 目的：评估在真实多文档场景下的长上下文理解能力，其中所有文档都与答案相关（没有任何文档可以被忽略）
• 主要功能:
  • 四种任务类型：聚光灯定位、比较、聚类、推理链
  • 上下文长度：4 组，从 1 万到 25 万个 token
  • 文档来源：财务报告、法律案例和学术论文（2024年）
• 显著发现:
  • 顶级模型（如 Gemini-1.5-pro）在超长上下文处理上仍有困难（性能在 >10 万 token 时显著下降）
  • 对于这些任务，RAG 相较于原生模型几乎没有改善
  • 人类在最难任务上的表现：15 分钟时限内准确率为 53.7%

2. Ada-LEval (2024)

• 目的：一个长度可适应的基准测试，用于评估大语言模型在不同上下文长度下的长上下文能力
• 主要功能:
  • 两个子集：TSort（文本排序）和 BestAnswer
  • 支持高达 12.8 万 token 的上下文长度
  • 设计用于测试模型在“超长”设置（10 万+ token）下的表现
• 显著发现:
  • 揭示了模型在极端长度下的能力存在显著差距
  • 显示即使是顶级模型（如 GPT-4o）在超长上下文中也存在局限性

3. LongBench v2 (2025)

• 目的：评估大语言模型处理需要跨真实世界多任务深度理解的长上下文问题的能力
• 主要功能:
  • 503 道多项选择题，涵盖 6 个类别
  • 上下文长度：8千 - 2百万字（大部分在 12.8 万以内）
  • 人类专家验证（最难问题准确率 53.7%）
• 显著发现:
  • 表现最佳的模型（o1-preview）：准确率 57.7%（对比人类基准 53.7%）
  • 在更长上下文（如 12.8 万+ token）下性能明显下降
  • 排行榜显示，像 Gemini-2.5-Pro 和 DeepSeek-R1 这样的模型表现优于其他模型

4. Vellum AI LLM 排行榜 (2025)

• 目的：对大语言模型的能力、价格和上下文窗口大小进行比较基准测试
• 主要功能:
  • 包括 2024-2025 年的模型（例如 GPT-4o、Gemini-2.5-Pro、Qwen3-235B）
  • 关注上下文窗口大小和实际性能等实用指标
• 显著发现:
  • 突显了声称的上下文窗口大小与实际性能之间的差距
  • 显示大多数模型（即使是那些拥有“1M”上下文窗口的模型）在超过 12.8 万 token 后性能也会下降

跨基准测试对比摘要

所有基准测试的关键洞见

1. 规模化下的性能下降：所有基准测试都显示，在超过 10-12.8 万个 token 后，性能会显著下降，这表明当前模型并未完全利用其声称的上下文窗口
2. 现实性差距：像 Loong 和 LongBench v2 这样的基准测试揭示，模型在处理现实的多文档场景（证据分散在多个文档中）方面，比处理合成基准测试时更具挑战性
3. RAG 的局限性：RAG 实现在这些任务中带来的好处微乎其微（Loong 的结果表明 RAG 常常无法检索到所有相关文档）
4. 模型差异性：更大参数的模型（例如 235B+）表现更好，但在超长上下文中与人类能力相比仍有差距

这个对比表明，尽管 2024-2025 年的基准测试在长上下文评估方面取得了进展，但在理论上的上下文窗口能力与在真实世界多文档场景中的实际性能之间仍存在显著差距。

根据现有信息，Jan-Nano、Lucy 和 Jan-V1 之间的差异可总结如下：

1. Jan-Nano

   • 一个由 Menlo Research 开发的 40 亿参数模型，用于深度研究任务。
   • 在 SimpleQA 基准测试中达到 83.2% 的准确率（根据 arXiv 技术报告）。
   • 针对本地部署进行了优化，并配备了 MCP（多通道协议）等工具进行网络搜索。
   • 有诸如 Jan-Nano-128k 的变体，该变体具有原生的 128k 上下文窗口，以增强研究能力。

2. Lucy

   • 一个由 Menlo Research 创建的 17 亿参数模型，是一个轻量级、适合移动设备的变体。
   • 专为智能体网络搜索和轻量级浏览而设计（例如，使用 Serper 和 Crawl4AI 等工具）。
   • 在 SimpleQA 基准测试中，使用 MCP 的准确率为 78.3%，略低于 Jan-Nano（80.7%），但针对移动/CPU 效率进行了优化。
   • 基于 Qwen3-1.7B 构建，采用 RLVR（带价值函数的强化学习）和“机器生成的任务向量”来增强推理能力。

3. Jan-V1

   • 一个来自 Menlo Research Jan 系列的 40 亿参数模型，明确基于 Lucy 构建。
   • 在 SimpleQA 基准测试中达到 91.1% 的准确率，比 Jan-Nano 高出约 8 个百分点。
   • 专注于通过增强的工具集成（例如，用于复杂任务）进行智能体推理和问题解决。
   • 旨在与 Jan 应用无缝集成，以实现本地、高性能的研究工作流。

主要区别：

• 规模与用例：Lucy 是最小的（1.7B）且针对移动设备优化；Jan-Nano 和 Jan-V1 均为 4B，但 Jan-V1 是 Lucy 的放大版，以获得更高性能。
• 性能：在 SimpleQA 基准测试中，Jan-V1 > Jan-Nano > Lucy（91.1% → 83.2% → 78.3%）。
• 技术方法：Lucy 使用 RLVR 和任务向量以提高效率；Jan-V1 继承了这一点，但对其进行了扩展以获得更好的准确性和工具利用率。
• 上下文窗口：Jan-Nano-128k 提供了比基础版 Jan-Nano 更大的上下文窗口（128k），而 Lucy 则是为移动设备的限制而设计的。

这一层级关系反映了 Menlo Research 从轻量级移动模型（Lucy）到可扩展研究工具（Jan-Nano 和 Jan-V1）的发展历程。