新智元报说念hongkongdoll

剪辑：KingHZ

【新智元导读】LLM自己有望在无穷长token下检索信息！无需考研，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新门径InfiniRetri让灵验陡立文token长度从32K膨大至1000+K，让7B模子并排72B模子。

全新检索模式：在无穷长token下，大谈话模子自己或能检索信息！

受大谈话模子（LLM）陡立文窗口大小的狂放，处理输入token数向上上限的各式任务颇具挑战性，不管是通俗的径直检索任务，如故复杂的多跳推理任务。

尽管新建议的各式门径用来增苍劲谈话模子的长陡立文处理才略，但这些门径痛点凸起：

要么会产生崇高的考研后资本，

要么需要出奇的器用模块（如检索增强生成RAG），

要么在实验任务中显现出改变，并不昭彰。

征询团队不雅察了各层谨防力散播与生成谜底之间的关连性，通过实考证实了谨防力分拨与检索增强才略是一致的。

基于上述观点，征询团队建议了一种全新的门径InfiniRetri，该门径期骗大谈话模子自己的谨防力信息，好意思满对率性长度输入的精确检索。

实验标明，在100万个token的「大海捞针」（Needle-In-a-Haystack，NIH）测试中，InfiniRetri将5亿参数的模子从44.6%进步到了100%的准确率。

莫得InfiniRetri的NIH测试唯独44.6%的准确率

要知说念GPT-4在NIH测试中都作念不到100%准确率。

InfiniRetri一举向上了其他门径或更大的模子，创造了现时最好（SOTA）末端。

值得谨防的是，某7B模子在HotpotQA任务上的得分，越过了其他同等参数限度的模子。

访佛地，Mistral-7B-Instruct v0.2当作擅吊问文本推理的模子，在长文本任务中的发扬也得到了显贵进步。

此外，新门径在实验基准测试中也取得了显贵的性能进步，最大进步幅度达到288%。

另外，无需出奇考研，InfiniRetri就可应用于任何基于Transformer的大谈话模子，何况能大幅缩短长文本推理延伸和计较支拨。

论文纠合：https://arxiv.org/abs/2502.12962

款式地址：https://github.com/CapitalCode2020/InfiniRetri2

著述主要孝顺如下：

翻新性建议「谨防力分拨与检索增强对王人」看法，并见效期骗这一特点进步LLM处理长文本的才略。

无需出奇考研，InfiniRetri可径直应用于任何基于Transformer的LLM，使其具备处理无穷长陡立文的才略。

不同于RAG依赖外部镶嵌模子，建议了「谨防力中的检索」这一新颖视角，充分期骗LLM内在才略增强长文本处理才略。

显贵缩短推理延伸和计较支拨，在大限度数据集上的检索与问答任务中发扬优异，展现出在极长文本处理场景中的实验应用价值。

不单是是膨大陡立文窗口，讲解了不错通过多种方式进步LLM处理长文本才略。畴昔的改变可通过在较小陡立文窗口内增强模子里面才略，从而取得更优的长文本处理末端。

鞭辟入里，灵魂三问

比年来，好多主流的LLM都在力求于于膨大陡立文窗口的限度。

举例，GPT-4、Llama3和DeepSeekV3复古最长128K的陡立文长度，Claude-3可达200K，而Gemini-Pro-1.5和Qwen2.5-1M甚而复古1M的陡立文长度。

但是，实验末端并未十足达到这些模子所声称的长度。

LLM在处理超长陡立文方面仍然濒临紧要挑战。

那天然接洽：是否能束缚延长陡立文窗口？

这是第一个问题，谜底是不可，有3大原因：

增多计较资本，产生昭彰的延伸。

输入长度具有长尾效应，通俗地膨大陡立文窗口带来的进步注定会带来越来越低。

不竭和阶段性考研资本极高，绝大大都征询东说念主员无法承受。

接下来，进一步接洽第二个问题：要冲破处理长陡立文时不同窗口之间的信息壁垒，是否存在一种低资本的门径？

事实上，业界依然通过检索增强生成（Retrieval-Augmented Generation，RAG）提供了谜底。

RAG由两大中枢组件构成：检索模块和生成模块。其中，检索模块依赖外部镶嵌模子，凭据输入查询从长文本中检索关连内容。

但是，RAG系统广阔难以诞生检索信息之间的关联。

比较之下，在推理过程中，LLM的谨防力机制，简略高效地诞生不同信息片断之间的关连。

由此引出了第三个问题：为何不径直期骗LLM自己的检索才略，来处理长文本陡立文？

为了让LLM以低资本的方式压缩并存储夙昔的键（key）和值（value），征询团队以为，唯独冲破不同陡立文窗口之间的信息壁垒，LLM才调信得过进步其处理长文本的才略。

此外，通过不雅察LLM在推理过程中复兴问题时的谨防力分拨模式，征询团队建议：这种谨防力分拨模式与检索增强才略（RAG）高度契合。

征询团队测试了基于通盘层的谨防力散播来检索谜底的准确性。

正如下图3所示，越接近输出层，这种模式的增强末端就越昭彰。

此外，在第14层和第15层，检索准确率达到一个局部峰值。

因此，InfiniRetri引入了全新的政策，期骗LLM自己的谨防力信息，而非依赖外部镶嵌模子，去进步其长文本处理才略。

无需对基于Transformer的LLM进行出奇考研，InfiniRetri不错开箱即用。获利于此，征询团队在多个模子上进行了全面的对比实验。

在跨陡立文长度的事实检索任务「大海捞针」（Needle In A Haystack，NIH）中，InfiniRetri仅使用5亿个出奇参数，就将模子的陡立文长度从原始的32K膨大至100万个token（如图1所示）。

原始门径（上）与InfiniRetri门径（下）对比，准确检索的最大文本长度从原始32K进步至向上1M tokens。

更值得谨防的是，InfiniRetri在NIH任务上好意思满了无穷长度范围内的精确检索，不仅越过了现时主流门径，还灵验管制了NIH任务的挑战。

此外，在LongBench提供的9个着实数据集上，InfiniRetri在基于KV Cache甚而Full KV的主流门径中均取得了越过性的发扬，尤其是在多文档问答（Multi-Document QA）任务（如HotpotQA、2WikiMQA和Musique）中，Qwen2-7B-Instruct遴选InfiniRetri后，平均性能进步高达369.6%。

InfiniRetri门径：带着问题阅读

那么hongkongdoll，若何应用这一模式来处理超出陡立文窗口的长文本，并信得过进步LLM的长文本处理才略呢？

在本节中，将InfiniRetri门径拆分为三个末节，分别先容该模式的应用方式，以进步LLM的长文本处理才略。

如图4所示，该门径的完整使命历程包括五个主要要领，详备先容这些要领：

要领1（切分，Chunk）、要领2（合并，Merge）和要领3（推理，Inference）。

要领4（检索，Retrieval）是门径的中枢部分。

要领5（缓存，Cache）。

图4：InfiniRetri门径在增强LLM长陡立文处理才略中的完整使命历程

文天职割

新门径受到东说念主类阅读竹素过程的启发，特殊针对LLM在处理超出陡立文窗口的文本时所濒临的挑战。

尽管东说念主类的视线有限，一次只可看到一页内容，但仍然不错逐页阅读并长入整本书。在这个过程中，大脑就像一个缓存（cache），通过驰念保留并整合每一页的信息，从而掌抓整本书的内容。

访佛地，InfiniRetri将整篇文本拆分为一语气的文本块（chunk）。

这种切分方式天然与RAG雷同，但不同之处在于，InfiniRetri不是并行处理每个文本块，而是按照国法逐块迭代地处理每个文档。

这种门径简略保留文本的国法信息，更顺应东说念主类的阅读民俗。

具体而言，如图4所示，在要领1（切分，Chunk）中，征询团队凭据句子范围将通盘这个词长文本分辩为长度冒失止境的文档块，其长度由门径参数ChunkSize³决定。

然后，这些文档块循序与缓存（Cache）中保留的token进行合并，酿成完整的输入序列，称为MergeToken，并将其输入LLM进行处理。

InfiniRetri遴选了访佛滑动窗口谨防力（Slide Window Attention，SWA）的迭代方式，按国法处理每个文本片断。

但是，InfiniRetri对缓存的处理方式与传统门径有本色区别。

传统缓存往往在每一层存储夙昔的键值（Key-Value）景象，而新门径例重新界说了缓存看法，改为存储夙昔的token ID。

如图4，要领2（合并，Merge）所示，新门径在输入LLM之前，将缓存的token ID与现时文本片断的token进行合并，从而取代了推理过程中对历史键值景象的合并需求。

因此，在要领3（推理，Inference）阶段，LLM仍然使用法式谨防力机制，而非SWA。关于第h层的谨防力得分，其计较公式如下：

其中，A^h∈R^{n×m}示意查询（query）和键（key）构成的谨防力矩阵，n是查询的数目，m是键的数目。

在谨防力中检索（Retrieval In Attention）

在单个陡立文窗口内，凭据问题token准笃定位关连的陡立文token，谨防力分拨模式简略匡助LLM找到正确谜底。

要是在滑动窗口框架内的每次推理过程中不竭应用这一模式，表面上，LLM就不错在保持查询不变的情况下，对通盘这个词长文本进行推理。

这一过程与东说念主类的阅读方式高度雷同，访佛于公认的「带着问题阅读」学习政策，即通扰乱题当作锚点，在LLM可处理的范围内逐渐整合关连信息。

因此，LLM能否精确检索与问题最关连的文本，是本门径灵验性的中枢。

要道在于诡计基于谨防力得分散播的token检索政策和算法，以确保模子简略在长文本中高效索求要道信息。

模仿实验末端，征询团队及第了多头谨防力（Multi-Head Attention）的终末一层，并对通盘谨防力头的得分进行乞降团聚（如公式2所示），探索了一种简略准确判断模子关怀重心的门径。

通过可视化谨防力得分，征询团队不雅察到：与谜底关连的信息往往由一语气的token构成。

也即是说，它们以短语级别的粒度存在。

这一发现与在图2c的实验末端一致，进一步阐述了LLM在token级别上具备较高的谨防力精度。

因此，但愿诡计的操作是：计较每个token过甚相邻token在2D谨防力得分矩阵中的蓄积谨防力得分。

计较末端将当作新的特征，在后续的检索过程顶用于排序。经过久了分析，发现此操作等效于使用一个填充了1的卷积核（kernel）进1D卷积。

关于查询i和键j，其特征蹙迫性计较如下：

1. 团聚通盘谨防力头的得分（公式2）：

2. 基于1D卷积计较每个token过甚相邻token的蹙迫性（公式3）：

其中，k是1D卷积核的大小，对应于门径中的参数Phrase Token Num。

3. 沿矩阵的列标的乞降，计较每个陡立文token的总蹙迫性分数（公式4）：

其中，s_i代表第i个陡立文token的详细蹙迫性分数。

4. 终末，及第蹙迫性分数最高的前K个陡立文token，并将其方位句子的通盘token写入缓存（cache）。这个过程可示意为：

即，从通盘token的蹙迫性分数v中，聘用排行前K的token，并将它们方位的完整句子存入缓存，以便后续推理时使用。

缓存句子Token（Cache Sentence Token）

在推理过程中对缓存（cache）的使用方式，InfiniRetri与传统门径存在本色性区别。

比较于径直使用缓存，InfiniRetri将其用于存储夙昔的陡立文信息。

具体而言，主要有以下两点不同：

1 新门径在模子外部缓存token ID，而不是每层的历史键值（Key-Value）景象。具体来说，在推理过程中不使用传统的Key-Value缓存，而是在每次推理前，将夙昔的陡立文信息与现时输入合并后再进行推理。

2 新门径基于短语级特征进行检索，并在缓存中存储包含Top-K token的句子级token。也即是说，存储的是完整的句子，而不是单独的token，从而确保检索到的信息更具陡立文完整性。

事实上，恰是这两项翻新性改变，使得新门径在无需微调的情况下，就能比传统的KV缓存门径更灵验地进步LLM处理长文本的才略。

新门径并不试图压缩缓存中的token，而是保留句子级别的关连陡立文信息。这是因为，句子是最小的完整语义单位，比较于单个token，更能确保LLM对陡立文的长入。

在LLM逐渐推理每个文本片断的过程中，缓存中保留的中间末端是动态变化的，它们由先前存储的token和现时输入片断的组合决定。因此，在通盘这个词过程中，这些中间末端会相对膺惩和更新，以顺应模子的长入需求。

AI界的「大海捞针」

大海捞针（Needle-in-a-Haystack，NIH）任务条目模子在一篇「超长文档」（「大海捞针」之海）中，精确检索出一个特定的主见句子（「针」），该句子不错被立时插入到文档的率性位置。

通过膺惩「针」的舍弃位置（文档深度）和陡立文长度，反复测试以斟酌模子的发扬。

为了直不雅分析模子的检索才略，遴选了热力争（heatmap）可视化实验：

绿色代表无缺检索（准确找到主见句），

其他神志示意检索无理。

这种可视化门径不错直不雅展示LLM处理长文本的才略上限，因此被平素用于评估。

实验1：Llama3-8B-Instruct的对比

如图6所示，在Llama3-8B-Instruct模子上测试NIH任务，并与以下门径进行了对比：Full KV（完整KV缓存）

StreamingLLM、H2O、SnapKV、PyramidKV以及InfiniRetri（新门径）。

在最长32K token的输入文本上进行实验，末端标明：

传统KV缓存压缩门径虽有所改变，但莫得越过Full KV的性能。

InfiniRetri门径的发扬优于FullKV，显贵增强了Llama3-8B-Instruct处理NIH任务的才略，甚而突破了原始8K token陡立文窗口的狂放。

实验2：Mistral-7B-Instruct的对比

为了进一步考证InfiniRetri的灵验性，在Mistral-7B-Instruct上膨大了输入长度。

Mistral-7B-Instruct官方复古的陡立文窗口为32K token，对比了FullKV和InfiniRetri的发扬，如图7所示：

Mistral-7B-Instruct+FullKV（图7a）：最多可在43K token长度范围内正确完成NIH任务。

Mistral-7B-Instruct+InfiniRetri（图7b）：在交流的参数树立下，新门径不仅越过了Llama3-8B-Instruct，而且在NIH任务上达到了100%的检索准确率，并将可处理的输入长度膨大至1M token，且莫得耗损准确率。

要道发现与出奇实验

进一步不雅察到：只消LLM在有限陡立文窗口内具备饱胀的检索才略，新门径就不错赋能模子处理超长文本的检索任务，表面上可复古无穷长输入。

基于这一发现，在更小的开源模子上的出奇实验，末端顺应预期：

新门径将该模子的灵验陡立文token长度从32K膨大至1M+，从而使其在NIH任务上具备了近乎无穷的长文本处理才略（如图1所示）。

LongBench实验

从表1的合座实验末端来看，新门径是独逐个个在通盘模子上全面越过Full KV的门径，其中在文档问答（DocumentQA）任务中的进步最为显贵。

主要实验末端：

LLaMA3-8B-Instruct：相对进步4.9%（32.92→34.56）

Qwen2-7B-Instruct：相对进步70.5%（25.11→42.82）

Mistral-7B-Instruct-v0.3：相对进步55.8%（24.17→37.68）

其中，Qwen2-7B-Instruct在HotpotQA任务上的发扬进步最为显贵，最大增幅达到288%（14.8→57.52）。

要道发现

值得谨防的是，Qwen2-7B-Instruct在HotpotQA任务上的得分，越过了其他同等参数限度的模子，标明其在漫笔本推理方面的上风。这进一步说明，Qwen2-7B-Instruct通过新门径，简略灵验进步其长文本推理才略。

访佛地，Mistral-7B-Instruct v0.2当作擅吊问文本推理的模子，在长文本任务中的发扬也得到了显贵进步。

随后，天然新门径在长文档问答任务中取得了显贵改变，但在文档摘要任务上的发扬相对较差。

这种相反可动力于摘要任务的性质，这些任务往往需要更丰富的陡立文信息来生成高质地的输出。

新门径无法一次性拜谒通盘关连信息，这在一定进度上狂放了它在这些任务中的灵验性。

与问答和检索任务不同，在这些任务中，谜底往往依赖于长陡立文的一小部分，摘要任务则高度依赖于对通盘这个词陡立文的全面长入。

因此，新门径可能需要进一步的优化和改变，以更好地吩咐这些摘要任务。

为了进一步评估InfiniRetri的灵验性，使用最新的Qwen2.5-7B-Instruct模子在LongBenchV2上进行了出奇的实验。

正如表2所示的末端，在应用了新门径InfiniRetri后，在处理LongBenchV2上的长文本和中等长度文本方面，Qwen2.5-7B合座性能与72B的对比模子相配，发扬出显贵的改变。

这一末端进一步考证了，只消LLMs在短陡立文场景中发扬出色，新门径就不错灵验地提高其处理更长陡立文文本的才略。

缩短延伸与计较支拨

如前所述，新门径遴选分段滑动窗口机制+迭代处理，在确保LLM推理长度保持在门径参数范围内的同期，仅在缓存中保留最关连的token。

这种机制使得LLM仅需处理长文本中的少部分要道信息，从而显贵缩短长文本处理时的推理延伸和计较支拨。

正如表4所示，即使未对门径参数进行雅致膺惩，新门径仍能在LongBench文档问答（QA）任务中，大幅缩短推理资本，适用于Llama3-8B-Instruct、Mistral-7B-InstructV0.2和Qwen2-7B-Instruct等模子。

举例，在NtvQA任务中，仅保留4.5%的原始输入文本（18409->834）；在HotpotQA任务中，Qwen2-7B-Instruct仅需处理8.7%的原始文本（9152->795），但推感性能进步高达288%。

这些实验末端进一步讲解，新门径简略通过优化LLM在较小陡立文窗口内的才略，灵验进步其长文本处理才略。

这一发现标明，进步LLM的长文本处理才略不仅不错通过膨大陡立文窗口，还不错通过优化模子在小窗口内的推理才略，再衔尾新门径机制，好意思满高效处理长文本的主见。

驳斥

这篇论文强调了一个本应了然于目的事实：瞻望和检索是清除枚硬币的两面。

要灵验地进行瞻望，领先必须笃定什么是关连的。令东说念主骇怪的是，适合地期骗谨防力模式，领有5亿参数的模子不错在100万个token上履行无缺的检索。

这激发了一个意念念意念念的问题：要是围绕检索才略明确诡计架构会若何？

Transformer架构是为瞻望而诡计的，检索是当作副产物出现的。那么，特殊为检索优化的架构会是什么款式呢？

好多资金依然进入到构建大限度RAG（检索增强生成）系统中。

要是这篇论文所高兴的性能改变是着实的，其影响将是宽绰的。

参考贵寓：

https://arxiv.org/abs/2502.12962

https://github.com/gkamradt/LLMTest_NeedleInAHaystack