社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

2026年RAG技术发展回顾:Github开源项目看工程4层Arxiv看论文4方向变化

老刘说NLP • 1小时前 • 3 次点击  

今天是2026年11月22日,星期日,北京,天气晴。

周末难得有时间,多看些技术总结,看看RAG,2026年做一些趋势上的总结,总是很有趣的,从学术论文、开源项目两个角度来看。

其实就是其中三个不同的优化点:RAG的根本矛盾是:外部知识无限且动态,而上下文窗口有限、注意力非均匀。

做个系统的技术回顾,拿一些结论出来,分成两个点:开源项目侧和论文侧,其实能抓到一些趋势。

一、开源项目侧看2026年RAG工程

与学术论文角度不同,GitHub侧的变化不在“检索算法”,而在数据入口、存储、上下文管理和产品定位,分层来看:

1、引擎层:RAG引擎改叫上下文基础设施

RAGFlow的decision model判断证据是否充分【紧跟jev潮流】,与HALT的evidence coverage停止策略、LAnR的答案token熵充分性信号,解决的是同一个问题:在检索循环里,谁来决定“够了”。工程侧用一个模型显式判断,学术侧用覆盖度或熵做轻量信号。这个可以从开源项目的奉新日志来看:

RAGFlow (https://github.com/infiniflow/ragflow)的官方README与《RAGFlow官方更新日志》(https://ragflow.io/changelog)给出了一些变化【真的是紧跟潮流】:

2026-08-19:推出“知识编译”,把文档编译成Wiki、Graph、Tree、PageIndex、Mind Map、Timeline、Skills;同日推出Agentic RAG,提供Low、Medium、High、Ultra四档思考模式;

2026-09-29:1.0.0-rc1,Go语言重写,消息队列从Redis迁到NATS,缓存与checkpoint改用Kvrocks,官方明确数据升级不可逆;

2026-10-16:rc2用Agentic模式替代四档思考级别;引入Firecrawl等网页搜索工具与MinerU 4模型;

2026-10-30:rc3在智能体工具循环中引入decision model做证据充分性判断;

2026-11-06:1.0.0正式发布。README自我定位已从RAG引擎改为“为大语言模型提供上下文层”。

2、图项目层:三种分化

GraphRAG的开源生态正在从“一个算法范式”分化为三件事:维护模式的研究原型、拼工程可用性的存储后端、以及转向时序记忆的上下文图。具体的:

Microsoft GraphRAG(https://github.com/microsoft/graphrag):官方README已明确项目“基本处于维护模式,不再接受新PR或实现新功能,仅做缺陷修复与依赖更新”,并警告索引昂贵、代码为演示性质、非微软正式支持产品;

LightRAG(https://github.com/HKUDS/LightRAG):定位仍是“轻量知识图谱RAG框架,Microsoft GraphRAG的高效替代”。2026-03集成OpenSearch作为覆盖全部四类存储的统一后端;2026年5月并入RAG-Anything(https://github.com/HKUDS/RAG-Anything),接入MinerU(https://github.com/opendatalab/MinerU)与docling(https://github.com/docling-project/docling)做多模态解析,并新增五种分块策略;2026-07加Word智能标题识别。README仍强调默认存储只适合测试,生产需换PostgreSQL、MongoDB、OpenSearch或Neo4j与Memgraph;

Graphiti(https://github.com/getzep/graphiti):已经不把自己叫RAG,而叫“时序上下文图”框架。每个事实带有效性窗口,episodes保留provenance;与Zep(https://github.com/getzep/zep)明确分工,Graphiti是框架(自带Neo4j、FalkorDB或Neptune),Zep是企业统一上下文层,2026-11仍在活跃提交并发ingestion与发布流程加固。

3、框架层:上下文压缩成为一等公民

上下文压缩也是一个趋势代表性的看:

Haystack(https://github.com/deepset-ai/haystack)的release片段显示:新增ToolResultOffloadCompactor,压缩时不丢弃旧工具结果,而是写入ToolResultStore并在原处留引用,agent可用只读工具按需取回;新增多向量字段multivector_embedding与MaxSimRanker,支持ColBERT类后期交互模型;新增StructuredOutputHook做结构化输出校验;同时因CVE-2026-63374等安全问题升级依赖下限。另在10月的版本说明中宣布支持Python 3.15、最低版本提到3.11。

这里的关键不是某个功能,而是“压缩”和“多向量”进入了通用框架的组件层,分别对应论文线的context rot治理与检索表示升级。

4、摄入层:RAG质量的战场前移。

文档解析其实也是2026年的一个重点。2026年增长最快的项目集中在文档解析与图构建层,如markitdown(https://github.com/microsoft/markitdown)、MinerU(https://github.com/opendatalab/MinerU)、docling(https://github.com/docling-project/docling)。

这个判断与论文线一致:《Graph-Aware Late Chunking for Retrieval-Augmented Generation in Biomedical Literature》(https://arxiv.org/html/2603.22633v1)指出分块策略决定结构覆盖率,RAGFlow(https://github.com/infiniflow/ragflow)把知识编译做成核心功能,LightRAG(https://github.com/HKUDS/LightRAG)把多模态解析并入主线。质量的第一道闸门已经从“检索器”前移到“解析与索引”。

二、论文侧2026年RAG技术总结

技术侧,最好的方式上arxiv做搜索,结果就是:研究重心已从“召回更多”转向“用更少的在线算力换同样的证据”。

可以讲结论为如下几个点来看:

1、把推理前置到索引时

这是全年最清晰的主线。这类工作不是“更好的检索算法”,而是成本结构的重新安排:用一次性的离线算力,换取在线延迟、调用次数与上下文占用的下降。它把RAG的优化对象从“相似度函数”扩展到了“什么该被预先算出来”。

看几个代表工作:

《IndexRAG: Index-Time Reasoning for Multi-Hop Retrieval-Augmented Generation》(https://arxiv.org/abs/2603.16415)把跨文档推理从在线移到离线:索引阶段抽取原子知识单元与桥接实体,让大模型生成“桥接事实”作为独立可检索单元;在线只需单次检索、单次LLM调用,代码在:https://github.com/Continuum-AI-Corp/IndexRAG;

同一逻辑的还有《M-RAG: Semantic Key-Value Indexing for Retrieval-Augmented Generation》(https://arxiv.org/abs/2603.26667):把检索键与生成载荷分离成语义KV对,检索只查key字段,value按token预算组装成证据,并带provenance指针做覆盖校验。

2、图检索的无库化与去神圣化

2026年GraphRAG的论文都在问同一个问题:能不能不维护真正的图数据库,也拿到图的多跳收益。分成两个路线,一个是显式图:实体关系真的存成图结构,需要图数据库与图遍历;隐式图:把关系信息编码进向量库元数据或预计算分数,运行时用向量/图算法间接利用,例如Personalized PageRank:从若干种子节点出发的带偏好图排序,用于给相关节点打分。

代表的工作有:

《EAGR: Evidence-Guided Adaptive Graph Retrieval》(https://arxiv.org/abs/2611.01910)在标准向量库的压缩passage元数据上构建“隐式语义图”,不物化显式图、不建专用图库,靠证据驱动逐轮扩展检索;

《Retrieving Complementary Evidence for Multi-Hop RAG with Semantic Gain Graphs》(https://arxiv.org/abs/2610.15285)提出“语义增益”:离线让LLM评估一个chunk相对另一个chunk提供了多少非冗余信息,聚合成可复用的Semantic Gain Graph,在线用Personalized PageRank排序互补证据,比相似度加权效果更佳。

《Lightfoot: Graph Retrieval-Augmented Generation with Exact, Model-Free Document Deletion》(https://arxiv.org/abs/2611.11010)把图RAG最被回避的成本摆上台面:删除。它的每个边都是passage抽取的确定性函数,删除文档退化为一个数据库事务,11402个passage的10%用14秒;摘要对比称LightRAG(https://github.com/HKUDS/LightRAG)同样的删除需2187次模型调用和3.7小时,FastGraphRAG(https://github.com/circlemind-ai/fast-graphrag)则无法删除;

此外,《Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation (long version) 》(https://arxiv.org/abs/2606.05901)则走反方向,用轻量图schema加智能体工具集,在MoNaCo上把幻觉答案数量减半,且仅小幅增加token。

3、评估体系的自我怀疑

技术发展是在质疑中发展的,评估是个重点,也可以看看几个代表工作:

《Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present?》(https://arxiv.org/abs/2606.28367),构建异构基准HetDocQA(代码、Markdown、表格、科学PDF与散文混在一库),8种方法共用同一backbone,带bootstrap置信区间与多重比较校正。结论也很直接,强cross-encoder重排器解释了管线大部分质量;在此之上只有query expansion与作者提出的SSCC有可靠增益;层次摘要、图扩展、路由、rank fusion在强重排器下都没有可靠增益;

《Graph-Aware Late Chunking for Retrieval-Augmented Generation in Biomedical Literature》(https://arxiv.org/html/2603.22633v1)指出生物医学全文检索里MRR指标的系统性偏差:语义分块MRR最高0.517,但结构覆盖率SecCov等于1,即永远只从一个章节取证据;结构感知方法MRR更低,却能从多15.6倍的章节取证据。标准指标系统性低估了结构检索;

《When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation》(https://arxiv.org/abs/2608.20627)做干预式故障归因:在80条三跳MuSiQue问题上注入认证故障,基于覆盖度的后验诊断在hop1达到0.91,在hop2与hop3都是0.00。故障越深,越无法从轨迹反查。

4、检索循环的自适应控制

自适应检索是当前RAG的重要趋势,看几个代表工作:

《HALT: Verification-Aware Stopping for Retrieval-Augmented Search Agents》(https://arxiv.org/abs/2608.02009)把“何时停”从生成器的置信度改成证据覆盖度:给定预期跳数声明,只有累积证据支撑每个声明时才停,不改主干agent、不需重训。

《Exact Adaptive Hybrid Retrieval Without Fixed Top-L Cutoffs》(https://arxiv.org/abs/2608.07152)处理混合检索的固定Top-L截断问题:用可恢复的精确稠密与稀疏排序,只有未读排名可能改变Top-K时才继续请求。

《Latent Abstraction for Retrieval-Augmented Generation》(https://arxiv.org/abs/2604.17866)让单一LLM在隐空间里完成编码、检索与生成:用[PRED] token的隐藏态产生检索向量,轻量MLP控制头判断证据是否充分,动机是观察到答案token熵可指示检索充分性。

5、安全、记忆与领域化

安全也是RAG技术的一个重要方向,也可以关注下代表工作:《A Survey of Secure Retrieval-Augmented Generation》(https://arxiv.org/abs/2604.08304)系统整理135篇工作,提出SLOT分类法,指出三类错配:目标错配(T2攻击快于T2防御)、阶段错配(S1攻击多于L1防御)、信号错配(流畅且贴合语料的攻击能绕过异常检测);

三、关于我们

老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203704