2026年7月9日 · PredicateLongBench
PredicateLongBench：长上下文评测开始测量“任务难度”而非只测长度
2026 年 7 月 9 日提交的 PredicateLongBench 预印本提出可控生成长上下文任务的两条流水线，并报告前沿模型随谓词难度上升出现明显性能下降。
EVENT STORY
发展脉络
- 首次出现PredicateLongBench：长上下文评测开始测量“任务难度”而非只测长度arXiv cs.AI
- 当前判断模型厂商仅公布长上下文窗口和单一 benchmark 分数将更难支持采购判断；应用团队需要围绕自己的文档结构、约束数量和证据组合方式建立分层评测。Agent Pulse · 分析
长上下文能力长期被“上下文窗口有多长”主导，但窗口可容纳信息不等于模型能在复杂约束下可靠找到并组合证据。该研究把长度与任务难度拆开控制，为企业文档、研究和 Agent 评测提供更接近真实工作的压力测试思路。
论文通过谓词结构控制检索条件、组合关系和推理复杂度，并以两类生成流程构造可重复的数据。它提供了一条难度轴，使团队能观察模型在上下文长度相同、约束复杂度不同条件下的退化曲线，信息量高于单一平均分。
模型厂商仅公布长上下文窗口和单一 benchmark 分数将更难支持采购判断；应用团队需要围绕自己的文档结构、约束数量和证据组合方式建立分层评测。
采购长上下文模型时，应把“最大窗口”替换为按任务难度分层的成功率、重试率和人工核验成本，避免为无法转化为可靠结果的容量付费。
这是尚未完成独立复现的预印本。下一步应检查数据生成是否引入捷径、不同模型版本的复现实验，以及难度轴与真实法律、金融和研发文档任务的相关性。