人工维护能够处理复杂判断,但持续更新依赖人的投入;索引更新能让新材料进入检索,却不能单独确认跨来源的业务关系是否仍然成立。LLM 可以协助发现变化、调查影响并修订内容,Git 则提供差异、评审和版本记录。两者分别处理知识内容与变更治理,组合后才能支撑持续维护。
LiveX Wiki 采用增量更新、定期全量审查与 Git 受控发布
:沿源码变化定位受影响场景,回源核实后形成候选修订;定期重新检查事实与覆盖,发现仅跟踪已有链路难以暴露的遗漏。修订经过结构检查、质量门禁和适用的评审流程后发布,使每次变更都有依据、有版本,也能够追溯和回退。
我们认为,自动化最值得承担的是重复调查和一致性检查,业务歧义与知识准确性的责任仍要落实到维护人。选择这条路线,也就意味着接受持续审查与人工兜底的成本,并用后续任务的交付收益检验这项投入。
四个维度围绕同一业务场景衔接:建模确定共同语言,生产建立可复用的调查成果,消费检验知识对当前任务是否成立,迭代处理变化与遗漏。我们的取舍是,把业务理解作为需要持续维护的工程产物,让它在反复使用与核验中积累价值。具体选型归纳如下:
▐ 4.2 OKF 思想 + 域/场景/知识 建模:构建层次知识网络结构
逻辑上,域、业务场景与共享知识形成三层理解结构;文件按域和场景组织,共享知识也有自己的场景身份,通过直接依赖被复用。
场景过大,每次变化都会扩大核验范围;场景过小,又会退化成需要临时拼装的碎片。页面聚合是确定业务范围的方法,真实接口链是落到技术事实的方法。 两者配合,才能既保持完整语义,又保留准确的实现入口。
业务域: 明确职责与归属,声明域身份与边界,承载第一次知识披露职责。
业务场景: 按“可独立理解、可明确归责、可单独核验”划分,场景内部沿 真实接口 → 服务编排 → 核心模块 → 底部依赖 建立查证路径,粒度控制到足以支持业务判断。
共享知识: 独立维护通用接入方式、概念和约束,由场景引用,避免被复制后各自过期。
▐ 4.3 知识图谱:可视化层次知识网络与依赖关系
树提供确定的入口,图保留跨边界的关系。 “渐进披露”控制何时展开哪些范围;选中场景后仍需全文理解其边界,不能拿摘要替代上下文。依赖层次布局将领域、场景、知识纵向展开,按领域分列;虚线表达领域归属,实线表达直接依赖。一个共享能力被哪些场景引用、依赖是否跨越领域边界,可以沿连线检查。
归属回答“由谁维护”,依赖回答“变化后还要调查哪里”。 图中的层次表达知识组织关系,实际调用与变更影响仍需沿接口链核验。以下两图基于同一版本的知识图谱,保留节点类型、归属与依赖关系;域、场景及共享知识的名称与标识因数据敏感均已进行脱敏处理,以下分别展示有机布局与依赖层次布局。
我们围绕同一场景组织生产、消费和维护:生产形成可核验的知识,消费确认知识对当前任务是否成立,维护处理变化与遗漏。LLM 负责理解与核验,程序负责结构和范围,Git 负责版本与发布记录。 冷启、自动更新和全量审查共用生产契约与发布门禁;消费读取已发布知识,发现失配后报告,获得维护授权的流程才产生修订。
我们将LiveX Wiki 的完整知识生命周期划分为知识生产、知识消费、知识迭代三个部分,这些规则由仓库级 AGENTS.md 和 MAINTENANCE.md 文件统一承接。其中AGENTS.md 定义入口、读取顺序和行为边界;MAINTENANCE.md 定义生产、维护与发布流程,能力封装为统一的 Skill 对Agent提供。
▐
5.1 知识生产:自建冷启生产逻辑,模型跨源调查与人工定边界
冷启最值得投入的人工工作,是明确场景边界和维护责任。 负责人提供需求、源码、原始prd、技术方案文档、来源与核验范围,Agent 负责跨仓调查、证据核对和知识编纂。若源码与权威材料仍无法解释业务归属,再交由负责人判断。
知识生产流程有四个关键动作:
固定来源与版本: 每个源码仓绑定本轮提交,明确配置的平台、环境与单元,避免调查中混用不同版本。
用两轮搜索跨越术语差异: 先用业务行为、页面文案和需求字段找候选,再用已确认的接口、类、字段、事件与配置标识反查,补齐第一轮没找到的端与模块。
从入口向下追,从消费者反向查: 枚举 API、消息、调度与扩展点,沿真实调用展开;再检查调用方、注册点和策略实现族,确认主链之外是否还有补偿或特殊分支。
LLM 核实后编纂: 将已核实的关系写成接口链,同步配置、实验和数据库依赖;未闭合证据单独列出,再执行结构与发布检查。
以一个通用的异步任务场景为例,找到提交接口还不够。如果任务状态也由消息处理推进,需要解释另一条入口;若处理逻辑采用策略分发,还要核对选择条件与适用实现。找到一个实现只能证明它存在,正反向调查才帮助判断场景是否完整。
▐ 5.2 知识消费:渐进披露、按需展开、回源核验
消费协议要同时回答“先读什么”和“读到哪里停止”。 我们让确定性程序生成发现清单,让 Agent 判断任务相关性;命中场景后,再沿真实来源核验。
| | |
|---|
| 1.发现域 | | |
| 2.选择场景 | | |
| 3.按需求选链 | | |
| 4.展开必要依赖 | | |
| 5.回源核验 | | |
一次具体业务需求变更,应在当前代码里确认输入、拒绝分支与异常处理,在目标环境中确认控制项如何生效,再判断共享能力是否受影响。读到了知识,和核实了实现,是两个不同的完成条件。
消费过程维护已访问集合:证据齐备时停止;发生重复或未命中时结束扩展并报告缺口;来源不可达或定位符失效时,不把“查不到”推断成“没有影响”。同时保持知识只读,避免任务内推测直接变成共享事实。
▐ 5.3 知识迭代:LLM Wiki 与 Git,让知识像代码一样演进
知识冷启建立了场景地图,持续迭代负责让它跟上业务变化。我们把这件事组织为知识自更新、知识自审查和 Git 治理:从代码变化定位需要修订的知识,定期回到原始来源检查事实与覆盖,所有修订再经过同一套候选评审和发布门禁。LLM 负责理解变化、核验证据并改写知识,Git 承载版本、差异与合入记录,让每次修订都能被检查和追溯。
知识自更新: 从场景登记的源码仓库与核验提交出发。固定目标分支的新提交后,调查两个版本之间的变化,再按场景汇总跨仓影响,把代码 diff 转化为需要重新核验的知识范围。最后将多个仓库的证据汇总为同一场景的一次候选修订,同步链路、配置与实验、数据库依赖和必要的源码基线。只有知识表达确实需要变化时才产生提交,随后进入统一的 Git 治理流程。
知识自审查: 定期回源,检查事实与覆盖。仅沿已有定位符追踪 diff,可能长期发现不了地图之外的链路。每轮审查先固定场景地图与核验版本,再沿两个方向展开:逐项回到源码和平台,核对已记录的接口、调用关系与底部依赖;重新枚举入口、注册点、调用方和策略实现,寻找遗漏。近期没有代码提交的场景也要检查,因为运行控制仍可能变化。
-
Git 治理: 自更新与自审查都先形成候选,再由发布规则决定何时成为团队可消费的知识。每个场景的维护任务使用独立候选分支、工作区与变更评审,提交只包含授权范围内的修订。重试复用已有候选;主分支前进或候选提交改变时,重新同步并检查,确保最终合入的内容就是本轮完成核验的内容。
Agent 知识库的价值,最终要落到 Coding Agent 对业务交付的帮助。我们以历史真实需求为样本,围绕“量化收益、定位缺口、改进溯源”开展两类测评:
端到端生码测评固定同批次的 Agent 运行时与工作流,对比无知识库、RAG 向量知识库和 LiveX Wiki 下的代码产出;需求路由测评逐层比对业务域、场景、仓库和核心链路,检查知识覆盖与定位情况。再沿执行轨迹追查失分环节,让指标同时服务于价值判断和改进优先级。
两类测评统一管理数据集、被测系统与测评器,记录输入、输出、运行条件和执行轨迹。数据集负责说明任务与预期结果,被测系统负责执行任务,测评器依据评分规则评价产出。三者分别管理版本,便于知识和消费流程调整后复跑,也便于判断差异来自哪里。
▐ 6.2 端到端生码测评:评估知识对代码产出的帮助
端到端生码测评从历史需求、技术方案与实际变更中整理输入和参考答案(GT)。输入还原任务要求,GT 描述应满足的业务行为、关键约束与验收要点。同批次以知识供给方式为核心变量,固定 Agent 运行时和工作流,并隔离任务上下文与环境;测评器对照输出和 GT,从功能正确性、实现契合度、兼容安全性、工程质量四个维度评分。
历史材料用于构造输入与评测参照,评测设计需要检查输入是否泄露目标实现,避免把答案提示误判为知识收益。由于不同批次的需求组成和评测条件可能存在差异,我们只在此比较同批次的对照结果,不在时间和空间维度去论述批次的评测结果差异。
图中分别以同批次无知识库、RAG 向量知识库为基线,展示 LiveX Wiki 的相对提升。计算方式为“(方案得分 ÷ 基线得分 − 1)× 100%”,数值按原评测记录保留一位小数,不展示原始得分、需求数量与具体业务样本。
两批测评中,LiveX Wiki 的综合得分较无知识库基线分别相对提升约 54.5% 和 23.8%,较团队既有 RAG 向量知识库分别提升约 44.3% 和 15.9%。功能正确性、实现契合度、兼容安全性和工程质量也均呈正向变化。这支持了按业务场景组织知识、辅助 Agent 理解和实现需求的价值,从宏观视角验证了LiveX Wiki建设带来的收益与价值。
需求路由测评同样从历史需求、技术方案与实际变更中构建输入和 GT,标注目标业务域、场景、仓库和核心链路。被测 Agent 只执行路由定位,测评器逐条比对四类目标集合,计算精确率、召回率和 F1。
先核对评测时有哪些场景,再看这些需求定位得怎样。 我们以需求为单位,将每条需求的 GT 目标场景与评测时的场景清单、文件身份核对:GT 全部已覆盖组指该需求的全部 GT 目标场景均已覆盖;GT 含未覆盖组指至少有一个 GT 目标场景未覆盖,这样可以区分知识覆盖缺口与已有知识的定位问题。
图中按归一化值 = 该组某维度 F1 ÷ 全量任务同维度 F1计算,分别将全量任务的各维度 F1 设为基准 1,结果保留两位小数。这些数值是相对比值,不是原始 F1,也不是百分比得分。 例如,1.28 表示该组该维度的 F1 约为全量基准的 1.28 倍。
通过需求路由测评结果,我们可以初步得出结论:在已覆盖场景上LiveX Wiki的知识定位准确率和召回率已提升显著,其中链路F1达到 1.38 : 0.10,验证了场景覆盖建设的投入收益。
最终分数帮助判断是否值得继续投入,执行轨迹决定接下来改哪里。 我们沿需求理解、知识路由、链路核验、方案实现逐步检查,优先找最早的偏差。
| |
|---|
| 针对性补充场景覆盖度,校准场景索引文件Frontmatter相关字段和别名 |
| 完善优化对应知识的时效与自动维护和事实层证据关联能力 |
|
完善优化知识自更新能力,通过先验事实源追溯与后验评测校准 |
Agent行为:场景选对了,却还是用错或忽略了知识 | |
评测噪音:同一测评批次产出评分不稳定,或 GT 有歧义 | 标注、评估规则与人工复核GT与评测结果,引入LLM辅助分析 |
后续计划通过关闭依赖展开、调整回源核验等受控对照,分离质量和成本的来源。每次修订落到具体场景、关系或消费步骤,并复跑受影响任务,让评测结果反过来指导建模、消费与维护。
写在最后:LiveX Wiki 的适用边界与局限性
这条路线适合跨仓、跨端、持续变化且会反复被开发的业务。前期调查沉淀为场景后,后续任务能够复用路径,维护也有明确范围。我们沉淀了三项可迁移的方法:
-
以需求如何变化,决定知识如何划分。 先确定哪些入口、规则和依赖共同支撑一次业务行为,再选场景边界;按仓库或技术主题自动分组,需要额外补齐这一层。
复用已经理解的结构,重新确认当前事实。 业务地图帮助缩小调查范围,源码与运行平台决定本次任务的实现依据;知识版本与事实版本分别管理。
让生产、消费、维护和评测指向同一对象。 同一个场景承担路由、核验、责任与修订单位,评测失分也能落回具体场景和接口链,建设投入才可能积累。
局限也落在同一设计上:场景边界需要人参与,覆盖补齐需要投入;依赖图可能遗漏未建模关系,模型核验也依赖来源可达;Git 与 CI 提供可追溯性和确定性检查,并不能保证所有业务判断正确,所以必须引入人来为知识准确性负责与兜底。
把业务理解留下来,是为了让下一次变更有可复用的起点;让它持续接受事实核验,是为了使这个起点仍然可信。 接下来的建设将继续围绕场景覆盖、交付质量和维护成本展开,检验这套知识在业务持续变化之后,能否稳定帮助 Agent 作出有依据的实现决策。
References
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks:
https://arxiv.org/abs/2005.11401
GraphRAG 官方文档:
https://microsoft.github.io/graphrag/
LightRAG: Simple and Fast Retrieval-Augmented Generation
https://arxiv.org/abs/2410.05779
本文作者翎捷,来自淘天集团-直播互动团队。团队聚焦淘宝直播互动,以及点淘的互动体验、用户增长与用户运营等业务场景,持续探索 AI Native 的业务研发与工程实践。在研发侧,通过 AI 辅助研发、业务知识体系建设与 AI Friendly 工程基础设施,让 AI 更好地理解业务、参与研发,提升交付效率与质量;在业务侧,探索 AI 托管运营在直播场景中的落地,推动运营从人工执行走向AI智能决策与自动执行,助力降低经营成本、提升经营效率。