企业做 AI 知识库，八成的问题不在模型，而在"切、找、评"这三件事。模型换一代就能提升的空间，远小于把这三件事做对带来的差别。
一、"接个大模型"不等于有了知识库
把公司文档丢给模型，让它"记住"，这条路在工程上走不通：上下文长度有限、更新不及时、无法追溯来源，还会一本正经地编造。
RAG（Retrieval-Augmented Generation，检索增强生成）换了个思路：模型不负责记忆，只负责组织语言；事实由检索系统现场提供。这样既能引用来源，也能随时更新。
二、选择一：怎么切
文档切分（chunking）决定了检索的基本粒度。切得太大，检索到的段落里混着无关内容，模型容易被干扰；切得太小，语义不完整，答案会断章取义。
- 按结构切，而不是按字数切：优先用标题层级、条款编号、表格边界作为切分点。
- 保留上下文：每个片段带上所属章节标题与文档名，检索时更容易命中。
- 重叠一小段：相邻片段保留 10%–15% 的重叠，避免关键句被切断。
- 表格单独处理：表格转为结构化文本并保留表头，否则检索到的是一堆没有列名的数字。
三、选择二：怎么找
检索质量决定答案质量。常见做法有三种，实际项目里通常是混着用：
| 方式 | 擅长 | 局限 |
|---|---|---|
| 向量检索 | 语义相近、换一种说法也能找到 | 对产品型号、专有名词、数字不敏感 |
| 关键词检索 | 精确匹配型号、条款号、人名 | 不理解同义表达 |
| 混合检索 + 重排 | 兼顾召回与精度 | 工程复杂度与延迟增加 |
企业文档里有大量型号、编号、条款，纯向量检索经常"找不到准确的那一条"。加入关键词通道并做一次重排，通常是最划算的改法。
四、选择三：怎么判断好坏
没有评估，就无法迭代。至少要准备三样东西：
- 问题集：从真实客服记录里挑 50–100 个高频问题，覆盖不同难度。
- 标准答案：每个问题标注"应该引用哪份文档的哪一段"。
- 两个指标：召回率（正确文档有没有被检索到）、答案正确率（最终回答对不对）。
先看召回再看生成。召回不到，模型再好也只能编；召回对了但答错，才是提示词或模型的问题。
五、三个工程坑
权限：不同角色能看的文档不同。检索层必须做权限过滤，不能靠提示词"请不要回答机密内容"。
更新：文档改了但索引没更新，是知识库最常见的翻车方式。需要增量同步与失效机制。
成本：全量重排、长上下文都会推高成本。简单问题走小模型、命中缓存、裁剪上下文，能把账单压下来一大截。
六、什么时候不值得做
如果知识总量不足几十份文档、问题高度重复、且已有成熟的 FAQ 页面，那么做好站内搜索或 FAQ 结构，成本更低、效果更稳。RAG 的价值在于"资料多、更新快、需要溯源"，不满足这三条，上系统只是增加维护负担。
我们提供从评估到落地的AI 应用开发服务，也会直接告诉你不值得做的情况。