Skip to content

07 · 企业知识库架构:两条链路怎么搭(Java 技术栈) ​

学完你能说出:

  • 企业知识库的入库链路和问答链路,每一步用什么组件、为什么。
  • Java 技术栈怎么选:Spring Boot + Spring AI / LangChain4j + Tika + MinIO + 消息队列 + Milvus / ES + MySQL + Redis + SSE。
  • 4 个难点:权限过滤、增量更新、数据质量、评估,各自怎么解决。

先看地图 ​

RAG 模块的前六篇讲了每个环节,这一篇把它们拼成一个能上线的系统。这也是面试里「用 Java 怎么搭一个企业知识库」这道题的完整答案。本篇讲 4 个点:

① 场景和要求 → ② 入库链路 → ③ 问答链路 → ④ 四个难点

面试时怎么用 2 分钟讲出来,见 示范:企业知识库。

一句话本质 ​

企业知识库 = 一个带权限的 RAG 系统:入库链路把文档异步解析、切块、向量化存起来;问答链路鉴权、按权限检索、重排、生成带出处的流式回答;难点在权限、更新、数据质量和评估。

生活类比 ​

公司档案室 + 咨询台:

  • 入库:新文件送来先登记存档(对象存储),交给后台整理员排队处理(消息队列),拆成卡片编好索引(切块、向量化),卡片上标好「哪个部门能看」(权限元数据);
  • 问答:员工来问问题,先查工牌(鉴权),只在他有权看的卡片里找(权限过滤),挑出最相关的几张(检索 + 重排),咨询员照着卡片回答并注明出处(生成),边想边说(流式输出)。

一步步看 ​

← 左右滑动看完整图 →入库链路(异步,可以慢,要求不丢不重)上传文档Spring Boot 接口对象存储MinIO 存原文件消息队列RabbitMQ / Kafka解析切块Tika 解析、清洗向量化Embedding 模型向量库 Milvus / ES向量 + 文本 + 部门标签MySQL文档元数据、版本、权限问答链路(同步,要快、要准、要有权限)提问带登录信息鉴权 + 改写查用户部门混合检索向量 + 关键词重排取前 5 块大模型生成SSE 流式、带出处按权限过滤后检索日志与反馈点赞点踩、答不上来难点:权限过滤(检索时就过滤)· 增量更新(按文档 id 删旧块写新块)   数据质量(解析、去重)· 评估(测试集 + 线上反馈)
企业知识库的两条链路。入库(上):上传 → 存原文件 → 消息队列异步处理 → 解析、清洗、切块 → 向量化 → 写向量库,并在 MySQL 记元数据和权限。问答(下):鉴权 → 改写问题 → 混合检索并按权限过滤 → 重排 → 拼提示词 → 大模型流式输出带出处 → 记录反馈。

1. 场景和要求 ​

  • 员工查公司内部制度、产品文档、技术手册;
  • 答案要带出处,可以点开原文核对;
  • 不同部门只能检索到自己有权限的文档;
  • 文档会更新,更新后旧版本不能再被引用。

2. 入库链路(异步:可以慢,要求不丢不重) ​

步骤做什么组件为什么
① 上传接收文件,记录上传人、部门、权限Spring Boot 接口后端入口
② 存原文件原文件放对象存储,数据库里只存路径MinIO(或云对象存储)文件大,不适合放数据库;回答时能链接到原文
③ 发消息往消息队列里发一条「文档 123 待处理」RabbitMQ / Kafka解析一个 200 页的 PDF 要几十秒,不能让用户等;批量上传时削峰
④ 解析从 PDF、Word、网页中抽出文字和结构Apache Tika(复杂表格、扫描件需要 OCR 或专门的解析工具)统一处理多种格式
⑤ 清洗、切块去页眉页脚、去重;按标题和段落切块,附上章节、页码自己写规则见 切块与入库
⑥ 向量化每块转成向量Embedding 模型(中文选 bge 一类)见 Embedding
⑦ 存储向量 + 文本 + 元数据(文档 id、部门、版本)写向量库;文档信息、版本、权限写 MySQLMilvus 或 Elasticsearch;MySQL向量库负责检索,MySQL 负责管理

3. 问答链路(同步:要快、要准、要有权限) ​

步骤做什么组件
① 鉴权从登录信息拿到用户和部门Spring Security / 网关
② 问题改写多轮对话里补全指代(「那它的报销标准呢?」→「出差的报销标准是什么?」)大模型
③ 混合检索 + 权限过滤向量检索 + 关键词检索,检索时就带上「部门 in 用户有权限的部门」的过滤条件,用 RRF 合并Milvus / ES 的元数据过滤
④ 重排从召回的 30–50 块里选出前 5 块Rerank 模型
⑤ 拼提示词「只依据以下资料回答,没有就说不知道,标注出处」+ 5 块资料 + 问题提示词模板
⑥ 生成大模型生成,一边生成一边推给前端,附带出处链接Spring AI / LangChain4j 调模型;SSE 推送
⑦ 记录保存问题、检索结果、回答、用户点赞点踩MySQL / 日志系统

Java 技术栈怎么选:

组件选型一句话
后端框架Spring BootJava 后端的事实标准
AI 编排Spring AI 或 LangChain4jJava 版的「模型调用 + 提示词模板 + 检索器」零件库,相当于 Python 的 LangChain
缓存Redis缓存热门问题的答案、用户权限,减少重复检索和模型调用
流式输出SSE(Server-Sent Events,服务器推送事件)服务器单向、持续地往浏览器推消息,用户不用等整段生成完

4. 四个难点 ​

难点错误做法正确做法
权限过滤先检索前 5 块,再把没权限的删掉:可能 5 块全被删光,或者把没权限的内容泄露进提示词检索时就带上权限过滤条件(元数据过滤),只在有权限的范围里找
增量更新文档改版后直接把新版也写进去:新旧版本同时被检索到,回答自相矛盾按文档 id 先删旧块、再写新块(upsert + 删除),MySQL 记录版本;删除文档时同步删向量
数据质量原样入库:页眉页脚、目录、重复文件都成了「资料」解析后清洗、去重、过滤过短的块;记录来源和更新时间,见 数据质量与治理
评估上线看感觉上线前用测试问题集看召回率和忠实度;上线后看点踩率和「答不上来」的比例,答错的问题补进测试集,见 评估与常见坑

为什么这么设计 ​

为什么入库要走消息队列,不在上传接口里直接处理? ​

  • 问题:解析、切块、向量化一个大文件要几十秒甚至几分钟,接口同步处理会超时;一次批量上传几百个文件,处理服务会被打爆。
  • 方案:上传后先存文件、发消息就返回「处理中」,后台消费者按自己的速度处理。
  • 好处:用户不用干等;高峰被削平;处理失败可以重试,不丢任务。

一句话答法

文档解析和向量化很慢,所以上传接口只存文件、发消息就返回,后台按自己的速度消费处理,既不超时,又能削峰和失败重试。

为什么权限要在检索时过滤,而不是检索完再过滤? ​

  • 问题:先检索再删,可能前 5 块全是没权限的,结果什么都不剩;更危险的是,过滤逻辑一旦写漏,没权限的内容就进了提示词,被模型说出来。
  • 方案:把「用户有权限的部门 / 文档」作为检索条件的一部分,向量库只在这个范围里找。
  • 好处:既保证返回足够的结果,又从源头杜绝越权。

一句话答法

权限要在检索时作为过滤条件,只在用户有权看的文档里找;检索完再删可能删光结果,漏删还会把无权内容送进提示词。

为什么要流式输出(SSE)? ​

  • 问题:大模型生成一段 300 字的回答可能要 5–10 秒,用户盯着空白页面会以为卡死了。
  • 方案:模型每生成一小段就推给前端,像打字一样逐渐显示。
  • 好处:首字很快出现,体验好;SSE 基于普通 HTTP,比 WebSocket 简单,正好满足「服务器单向推送」的需求。

一句话答法

大模型生成要好几秒,流式输出让用户第一时间看到开头;SSE 是基于 HTTP 的服务器单向推送,比 WebSocket 简单,正适合这个场景。

英文术语拆解 ​

术语拆开看一句话意思
MinIOMin 最小 + IO 输入输出开源对象存储,接口兼容 Amazon S3
Tika(Apache 项目名)从各种格式文件里抽取文字的工具
Spring AISpring 框架 + AISpring 官方的大模型应用开发框架
LangChain4jLangChain + for JavaJava 版的 LangChain
SSEServer 服务器 + Sent 发送 + Events 事件服务器向浏览器单向推送
ACLAccess 访问 + Control 控制 + List 列表访问控制列表:谁能看什么
Metadata FilterMetadata 元数据 + Filter 过滤按元数据条件过滤后再检索

面试怎么问 ​

Q:用 Java 搭一个企业知识库,你怎么设计?

分入库和问答两条链路。入库:上传文件存 MinIO,发消息到队列异步处理,Tika 解析,清洗切块,Embedding 转向量写进 Milvus 或 ES,同时在 MySQL 记录文档元数据、版本和权限。问答:鉴权,问题改写,混合检索并按权限过滤,rerank 选前几块,拼提示词让大模型只依据资料回答、标出处,通过 SSE 流式返回,记录日志和用户反馈。框架用 Spring Boot,AI 部分用 Spring AI 或 LangChain4j。难点是权限过滤和文档更新同步。

Q:文档更新了怎么办?

每个块的 id 由文档 id 和块序号组成,元数据里记录文档 id 和版本。文档更新时,入库任务按文档 id 先删除旧版本的所有块,再写入新块,MySQL 更新版本号;文档删除时同步删向量。这样不会出现新旧版本同时被检索到。

Q:不同部门的权限怎么控制?

入库时每个块带上部门或权限标签;查询时根据登录用户拿到他有权限的范围,作为检索的元数据过滤条件,只在有权限的块里检索,而不是检索完再删。

容易混的地方 ​

  • 对象存储 ≠ 向量库:MinIO 存原文件,向量库存块的向量和文本,MySQL 存元数据和权限,各管各的。
  • Spring AI / LangChain4j 不是模型:它们是调用模型、编排流程的框架。
  • SSE ≠ WebSocket:SSE 只能服务器推给浏览器(单向),WebSocket 是双向的。
  • 缓存答案要小心:同一个问题,不同权限的人应该看到不同的答案,缓存的 key 要带上权限范围。

和其他知识的连接 ​

自测 3 问 ​

Q1:入库链路里,为什么原文件存 MinIO 而不是 MySQL?为什么要经过消息队列?

点开看答案

原文件大,放数据库会拖慢数据库、浪费空间,对象存储专门存大文件,数据库只存路径。消息队列让上传接口不用等几十秒的解析,后台异步处理,还能削峰、失败重试。

Q2:「先检索前 5 块,再删掉没权限的」有什么问题?

点开看答案

可能 5 块全是没权限的,删完什么都不剩;而且过滤一旦写漏,无权内容就进了提示词被模型说出来。应该在检索时就把权限作为过滤条件。

Q3:《差旅制度》从 v1 改成了 v2,知识库要做哪些事?

点开看答案

按文档 id 删除 v1 的所有块,解析、切块、向量化 v2 后写入,MySQL 更新版本号和更新时间。之后检索只会命中 v2,不会新旧混答。

✅ 验收清单 ​

  • 能画出入库和问答两条链路,每条至少 5 步,并标出组件
  • 能说出 Java 技术栈里 Spring AI / LangChain4j、Tika、MinIO、消息队列、SSE 各自的作用
  • 能说出 4 个难点的错误做法和正确做法
  • 能解释消息队列、检索时权限过滤、SSE 这 3 个设计的理由

下一步该懂什么 ​