深色模式
07 · 企业知识库架构:两条链路怎么搭(Java 技术栈)
学完你能说出:
- 企业知识库的入库链路和问答链路,每一步用什么组件、为什么。
- Java 技术栈怎么选:Spring Boot + Spring AI / LangChain4j + Tika + MinIO + 消息队列 + Milvus / ES + MySQL + Redis + SSE。
- 4 个难点:权限过滤、增量更新、数据质量、评估,各自怎么解决。
先看地图
RAG 模块的前六篇讲了每个环节,这一篇把它们拼成一个能上线的系统。这也是面试里「用 Java 怎么搭一个企业知识库」这道题的完整答案。本篇讲 4 个点:
① 场景和要求 → ② 入库链路 → ③ 问答链路 → ④ 四个难点
面试时怎么用 2 分钟讲出来,见 示范:企业知识库。
一句话本质
企业知识库 = 一个带权限的 RAG 系统:入库链路把文档异步解析、切块、向量化存起来;问答链路鉴权、按权限检索、重排、生成带出处的流式回答;难点在权限、更新、数据质量和评估。
生活类比
公司档案室 + 咨询台:
- 入库:新文件送来先登记存档(对象存储),交给后台整理员排队处理(消息队列),拆成卡片编好索引(切块、向量化),卡片上标好「哪个部门能看」(权限元数据);
- 问答:员工来问问题,先查工牌(鉴权),只在他有权看的卡片里找(权限过滤),挑出最相关的几张(检索 + 重排),咨询员照着卡片回答并注明出处(生成),边想边说(流式输出)。
一步步看
1. 场景和要求
- 员工查公司内部制度、产品文档、技术手册;
- 答案要带出处,可以点开原文核对;
- 不同部门只能检索到自己有权限的文档;
- 文档会更新,更新后旧版本不能再被引用。
2. 入库链路(异步:可以慢,要求不丢不重)
| 步骤 | 做什么 | 组件 | 为什么 |
|---|---|---|---|
| ① 上传 | 接收文件,记录上传人、部门、权限 | Spring Boot 接口 | 后端入口 |
| ② 存原文件 | 原文件放对象存储,数据库里只存路径 | MinIO(或云对象存储) | 文件大,不适合放数据库;回答时能链接到原文 |
| ③ 发消息 | 往消息队列里发一条「文档 123 待处理」 | RabbitMQ / Kafka | 解析一个 200 页的 PDF 要几十秒,不能让用户等;批量上传时削峰 |
| ④ 解析 | 从 PDF、Word、网页中抽出文字和结构 | Apache Tika(复杂表格、扫描件需要 OCR 或专门的解析工具) | 统一处理多种格式 |
| ⑤ 清洗、切块 | 去页眉页脚、去重;按标题和段落切块,附上章节、页码 | 自己写规则 | 见 切块与入库 |
| ⑥ 向量化 | 每块转成向量 | Embedding 模型(中文选 bge 一类) | 见 Embedding |
| ⑦ 存储 | 向量 + 文本 + 元数据(文档 id、部门、版本)写向量库;文档信息、版本、权限写 MySQL | Milvus 或 Elasticsearch;MySQL | 向量库负责检索,MySQL 负责管理 |
3. 问答链路(同步:要快、要准、要有权限)
| 步骤 | 做什么 | 组件 |
|---|---|---|
| ① 鉴权 | 从登录信息拿到用户和部门 | Spring Security / 网关 |
| ② 问题改写 | 多轮对话里补全指代(「那它的报销标准呢?」→「出差的报销标准是什么?」) | 大模型 |
| ③ 混合检索 + 权限过滤 | 向量检索 + 关键词检索,检索时就带上「部门 in 用户有权限的部门」的过滤条件,用 RRF 合并 | Milvus / ES 的元数据过滤 |
| ④ 重排 | 从召回的 30–50 块里选出前 5 块 | Rerank 模型 |
| ⑤ 拼提示词 | 「只依据以下资料回答,没有就说不知道,标注出处」+ 5 块资料 + 问题 | 提示词模板 |
| ⑥ 生成 | 大模型生成,一边生成一边推给前端,附带出处链接 | Spring AI / LangChain4j 调模型;SSE 推送 |
| ⑦ 记录 | 保存问题、检索结果、回答、用户点赞点踩 | MySQL / 日志系统 |
Java 技术栈怎么选:
| 组件 | 选型 | 一句话 |
|---|---|---|
| 后端框架 | Spring Boot | Java 后端的事实标准 |
| AI 编排 | Spring AI 或 LangChain4j | Java 版的「模型调用 + 提示词模板 + 检索器」零件库,相当于 Python 的 LangChain |
| 缓存 | Redis | 缓存热门问题的答案、用户权限,减少重复检索和模型调用 |
| 流式输出 | SSE(Server-Sent Events,服务器推送事件) | 服务器单向、持续地往浏览器推消息,用户不用等整段生成完 |
4. 四个难点
| 难点 | 错误做法 | 正确做法 |
|---|---|---|
| 权限过滤 | 先检索前 5 块,再把没权限的删掉:可能 5 块全被删光,或者把没权限的内容泄露进提示词 | 检索时就带上权限过滤条件(元数据过滤),只在有权限的范围里找 |
| 增量更新 | 文档改版后直接把新版也写进去:新旧版本同时被检索到,回答自相矛盾 | 按文档 id 先删旧块、再写新块(upsert + 删除),MySQL 记录版本;删除文档时同步删向量 |
| 数据质量 | 原样入库:页眉页脚、目录、重复文件都成了「资料」 | 解析后清洗、去重、过滤过短的块;记录来源和更新时间,见 数据质量与治理 |
| 评估 | 上线看感觉 | 上线前用测试问题集看召回率和忠实度;上线后看点踩率和「答不上来」的比例,答错的问题补进测试集,见 评估与常见坑 |
为什么这么设计
为什么入库要走消息队列,不在上传接口里直接处理?
- 问题:解析、切块、向量化一个大文件要几十秒甚至几分钟,接口同步处理会超时;一次批量上传几百个文件,处理服务会被打爆。
- 方案:上传后先存文件、发消息就返回「处理中」,后台消费者按自己的速度处理。
- 好处:用户不用干等;高峰被削平;处理失败可以重试,不丢任务。
一句话答法
文档解析和向量化很慢,所以上传接口只存文件、发消息就返回,后台按自己的速度消费处理,既不超时,又能削峰和失败重试。
为什么权限要在检索时过滤,而不是检索完再过滤?
- 问题:先检索再删,可能前 5 块全是没权限的,结果什么都不剩;更危险的是,过滤逻辑一旦写漏,没权限的内容就进了提示词,被模型说出来。
- 方案:把「用户有权限的部门 / 文档」作为检索条件的一部分,向量库只在这个范围里找。
- 好处:既保证返回足够的结果,又从源头杜绝越权。
一句话答法
权限要在检索时作为过滤条件,只在用户有权看的文档里找;检索完再删可能删光结果,漏删还会把无权内容送进提示词。
为什么要流式输出(SSE)?
- 问题:大模型生成一段 300 字的回答可能要 5–10 秒,用户盯着空白页面会以为卡死了。
- 方案:模型每生成一小段就推给前端,像打字一样逐渐显示。
- 好处:首字很快出现,体验好;SSE 基于普通 HTTP,比 WebSocket 简单,正好满足「服务器单向推送」的需求。
一句话答法
大模型生成要好几秒,流式输出让用户第一时间看到开头;SSE 是基于 HTTP 的服务器单向推送,比 WebSocket 简单,正适合这个场景。
英文术语拆解
| 术语 | 拆开看 | 一句话意思 |
|---|---|---|
| MinIO | Min 最小 + IO 输入输出 | 开源对象存储,接口兼容 Amazon S3 |
| Tika | (Apache 项目名) | 从各种格式文件里抽取文字的工具 |
| Spring AI | Spring 框架 + AI | Spring 官方的大模型应用开发框架 |
| LangChain4j | LangChain + for Java | Java 版的 LangChain |
| SSE | Server 服务器 + Sent 发送 + Events 事件 | 服务器向浏览器单向推送 |
| ACL | Access 访问 + Control 控制 + List 列表 | 访问控制列表:谁能看什么 |
| Metadata Filter | Metadata 元数据 + Filter 过滤 | 按元数据条件过滤后再检索 |
面试怎么问
Q:用 Java 搭一个企业知识库,你怎么设计?
分入库和问答两条链路。入库:上传文件存 MinIO,发消息到队列异步处理,Tika 解析,清洗切块,Embedding 转向量写进 Milvus 或 ES,同时在 MySQL 记录文档元数据、版本和权限。问答:鉴权,问题改写,混合检索并按权限过滤,rerank 选前几块,拼提示词让大模型只依据资料回答、标出处,通过 SSE 流式返回,记录日志和用户反馈。框架用 Spring Boot,AI 部分用 Spring AI 或 LangChain4j。难点是权限过滤和文档更新同步。
Q:文档更新了怎么办?
每个块的 id 由文档 id 和块序号组成,元数据里记录文档 id 和版本。文档更新时,入库任务按文档 id 先删除旧版本的所有块,再写入新块,MySQL 更新版本号;文档删除时同步删向量。这样不会出现新旧版本同时被检索到。
Q:不同部门的权限怎么控制?
入库时每个块带上部门或权限标签;查询时根据登录用户拿到他有权限的范围,作为检索的元数据过滤条件,只在有权限的块里检索,而不是检索完再删。
容易混的地方
- 对象存储 ≠ 向量库:MinIO 存原文件,向量库存块的向量和文本,MySQL 存元数据和权限,各管各的。
- Spring AI / LangChain4j 不是模型:它们是调用模型、编排流程的框架。
- SSE ≠ WebSocket:SSE 只能服务器推给浏览器(单向),WebSocket 是双向的。
- 缓存答案要小心:同一个问题,不同权限的人应该看到不同的答案,缓存的 key 要带上权限范围。
和其他知识的连接
- ← 来自 RAG 是什么、切块与入库、向量数据库、检索与重排、评估与常见坑、幻觉怎么治。
- ← 来自 后端分层:上传接口和问答接口的后端结构。
- ← 来自 数据质量与治理:知识库的数据也要治理。
- → 影响 示范:企业知识库:2 分钟口述版。
自测 3 问
Q1:入库链路里,为什么原文件存 MinIO 而不是 MySQL?为什么要经过消息队列?
点开看答案
原文件大,放数据库会拖慢数据库、浪费空间,对象存储专门存大文件,数据库只存路径。消息队列让上传接口不用等几十秒的解析,后台异步处理,还能削峰、失败重试。
Q2:「先检索前 5 块,再删掉没权限的」有什么问题?
点开看答案
可能 5 块全是没权限的,删完什么都不剩;而且过滤一旦写漏,无权内容就进了提示词被模型说出来。应该在检索时就把权限作为过滤条件。
Q3:《差旅制度》从 v1 改成了 v2,知识库要做哪些事?
点开看答案
按文档 id 删除 v1 的所有块,解析、切块、向量化 v2 后写入,MySQL 更新版本号和更新时间。之后检索只会命中 v2,不会新旧混答。
✅ 验收清单
- 能画出入库和问答两条链路,每条至少 5 步,并标出组件
- 能说出 Java 技术栈里 Spring AI / LangChain4j、Tika、MinIO、消息队列、SSE 各自的作用
- 能说出 4 个难点的错误做法和正确做法
- 能解释消息队列、检索时权限过滤、SSE 这 3 个设计的理由