Skip to content

01 · 一张总图:一个系统里的三条路 ​

学完你能说出:

  • 一个真实的互联网产品,从用户点按钮到看到结果、从订单到报表、从文档到 AI 回答,分别经过哪些环节。
  • 学习站的 6 个知识库各管哪一段,为什么按这个顺序学。
  • 面试里「系统设计题」其实就是把这三条路讲清楚。

先看地图 ​

这是全站第一篇,不讲细节,只给你一张能挂住后面所有知识的「骨架图」。本篇讲 4 个点:

① 用一个虚构的产品当例子 → ② 第一条路:一次请求 → ③ 第二条路:一条数据 → ④ 第三条路:一次提问

后面每学一篇,都回到这张图上找它的位置。找不到位置的知识,最容易忘。

一句话本质 ​

一个系统 = 把「请求」快速答好(后端)、把「数据」攒起来算清楚(大数据)、把「知识」变成能对话的助手(AI 应用),底层都跑在操作系统和网络上。

生活类比 ​

把系统想成一家连锁餐厅:

餐厅系统对应知识库
厨房的灶台、水电、送菜通道操作系统、网络计算机基础
前台点单、后厨做菜、仓库取料后端服务、数据库后端与数据库
客人太多时加开分店、门口排号、备好半成品负载均衡、消息队列、缓存分布式与中间件
每晚把当天所有小票汇总成经营报表数据采集、数仓、报表大数据开发与治理
一个看过全部菜谱和规章的智能店长助理RAG、AgentAI 应用
向投资人讲清楚这家店怎么运转系统设计、面试表达系统设计与面试

一步步看:用一个产品走三条路 ​

假设有一个在线商城「小橙商城」:日活 10 万人,每天 2 万笔订单,还有一个 AI 客服。

← 左右滑动看完整图 →① 一次请求:用户点「我的订单」浏览器DNS 找到 IP负载均衡nginx 分流后端服务Controller→DAO缓存Redis 先查业务库 MySQL订单表(OLTP)网络、操作系统(计算机基础) → 后端与数据库 → 分布式与中间件② 一条数据:订单变成第二天的报表采集CDC 读 binlog / Kafka存储HDFS / Hive ODS计算Spark 清洗汇总数仓分层DWD→DWS→ADSBI 报表昨日销售额调度(每天凌晨跑一次)、数据质量检查(大数据开发与治理)③ 一次提问:「退货规则是什么?」公司文档PDF / 网页切块 + 向量化Embedding向量库Milvus / ES检索 + 重排找最相关 5 块大模型生成带出处、流式输出数据要干净(治理)、权限要过滤(后端)、答案要可信(评估)→ 三条路在这里交汇(AI 应用)讲出来:系统设计骨架「场、进、出、难、评」把三条路串成一个回答(系统设计与面试)
同一个系统里走三条路:① 一次请求(用户点按钮 → 拿到结果,后端与中间件负责);② 一条数据(业务库里的订单 → 第二天的报表,大数据负责);③ 一次提问(文档 → 向量库 → 带出处的回答,AI 应用负责)。底下垫着计算机基础,最后用系统设计把它们讲出来。

第一条路:一次请求(几百毫秒内完成) ​

用户在手机上点「我的订单」:

  1. DNS(Domain Name System,域名系统,把网址翻译成 IP 地址):手机先问「shop.example.com 在哪」,拿到 IP。→ 网络
  2. 建立连接:TCP 三次握手、TLS 加密握手。→ 网络
  3. 负载均衡:nginx 把请求分给 3 台后端服务器中最闲的一台。→ 分布式与中间件
  4. 后端分层:Controller 收请求 → Service 做业务判断 → DAO 查数据库。→ 后端与数据库
  5. 先查缓存:Redis 里有这个人的订单列表就直接返回(约 1 毫秒);没有再查 MySQL(约 10 毫秒),查完顺手放进缓存。
  6. 数据库:靠索引在 2000 万行订单里找到这个用户的 20 行。→ 索引与 B+ 树

这条路追求的是快、稳、不出错:一次只处理很少的数据,但要在很短时间内完成,这叫 OLTP(On-Line Transaction Processing,联机事务处理)。

第二条路:一条数据(第二天早上出报表) ​

老板想看「昨天每个城市卖了多少钱」:

  1. 采集:业务库每改一行都会记日志(binlog),采集工具读日志,把变化同步出来。
  2. 存储:原样存进 HDFS(分布式文件系统,把大文件切块存在很多台机器上)。
  3. 计算:Spark 在几十台机器上并行清洗、汇总 2 万笔订单(真实公司可能是几亿笔)。
  4. 分层:原始层 → 明细层 → 汇总层 → 报表层,每层只做一件事。
  5. 出报表:BI 工具画出「上海 120 万、杭州 80 万……」。

这条路追求的是算得动、算得对、可追溯:一次扫描大量数据,慢一点没关系,这叫 OLAP(On-Line Analytical Processing,联机分析处理)。

第三条路:一次提问(几秒内给出带出处的回答) ​

用户问 AI 客服「买了 10 天的衣服还能退吗?」:

  1. 提前建库:把《退换货规则》等文档切成小块,每块转成向量(一串数字),存进向量库。
  2. 检索:把问题也转成向量,找出最相关的 5 块。
  3. 生成:把问题和这 5 块资料一起交给大模型,要求「只依据资料回答,并标出处」。
  4. 输出:回答一个字一个字流式推送到手机上。

这条路追求的是答得准、有依据、可评估,这就是 RAG(Retrieval-Augmented Generation,检索增强生成)。

三条路在哪里交汇 ​

  • AI 客服要查「这个用户的订单状态」→ 走第一条路的接口(这就是 Agent 调工具)。
  • 知识库文档要去重、清洗、记来源 → 用第二条路的数据治理方法。
  • 三条路都跑在同样的服务器、网络和数据库上 → 计算机基础。

为什么这么设计 ​

为什么不用一个数据库同时扛「下单」和「出报表」? ​

  • 问题:报表要扫几千万行,会把 CPU 和磁盘吃满;同一个库里正在下单的用户就会卡住。
  • 方案:业务库只管下单(OLTP),数据同步到另一套系统去算报表(OLAP)。
  • 好处:两边互不影响,各自用最合适的技术。

一句话答法

OLTP 一次处理几行、要快;OLAP 一次扫几千万行、要算得动。放在一起会互相拖累,所以分成两套系统,中间用数据同步连起来。

为什么学习站按「一台 → 一个服务 → 多台 → 数据 → AI → 讲出来」排? ​

  • 问题:直接学 RAG 或 Spark,会遇到一堆「默认你懂」的词:索引、缓存、分区、并行……
  • 方案:从下往上学,每一层都只依赖下面已经学过的层。
  • 好处:每学一个新东西,都能说出「它解决了下面哪一层解决不了的问题」,这正是面试官想听的。

一句话答法

上层技术都是为了解决下层的瓶颈才出现的:一台机器扛不住才有分布式,单机数据库算不动才有大数据。按这个顺序学,每个技术都能讲清「为什么需要它」。

英文术语拆解 ​

术语拆开看一句话意思
OLTPOn-Line 在线 + Transaction 事务 + Processing 处理业务系统:一次读写几行,要快
OLAPOn-Line 在线 + Analytical 分析 + Processing 处理分析系统:一次扫大量数据,算统计
DNSDomain 域名 + Name 名字 + System 系统把网址翻译成 IP 地址
RAGRetrieval 检索 + Augmented 增强 + Generation 生成先查资料,再让模型回答
BIBusiness 业务 + Intelligence 智能报表和看板工具

面试怎么问 ​

Q:从用户点击按钮到看到数据,后端经历了什么?

按顺序说:DNS 解析拿到 IP → 建立 TCP 和 TLS 连接 → 负载均衡分给一台后端 → Controller 收参数、Service 做业务判断、DAO 访问数据 → 先查缓存,没命中再查数据库并回填缓存 → 结果层层返回。每一步再按面试官追问展开。

Q:OLTP 和 OLAP 有什么区别?为什么要分开?

OLTP 是业务库,一次读写少量行,要求低延迟、强一致,比如 MySQL;OLAP 是分析库,一次扫描大量数据做聚合,比如 Hive、ClickHouse。分开是为了让报表的大查询不拖慢在线业务,并且两边可以各自选最合适的存储方式(行存 vs 列存)。

容易混的地方 ​

  • 「大数据」不是「数据多一点的 MySQL」:它换了整套思路——数据切块分散存放、计算搬到数据所在的机器上并行做。
  • RAG 不等于「接了个大模型」:大头工作在检索和数据准备上,模型只是最后一步。
  • 缓存不是数据库的替代品:缓存可能丢、可能旧,数据库才是「最终说了算」的地方。

和其他知识的连接 ​

自测 3 问 ​

Q1:用「连锁餐厅」类比,说出系统里的三条路分别对应餐厅的什么。

点开看答案

一次请求 = 客人点单到上菜(前台 → 后厨 → 仓库取料);一条数据 = 每晚把当天小票汇总成经营报表;一次提问 = 看过全部菜谱和规章的店长助理回答客人问题。

Q2:为什么报表不直接在业务库上跑?

点开看答案

报表要扫大量数据,会占满 CPU 和磁盘,拖慢正在下单的用户。所以业务库(OLTP)只管在线读写,数据同步到分析系统(OLAP)再算。

Q3:AI 客服回答「我的订单到哪了」,会用到哪几条路?

点开看答案

第三条路(理解问题、生成回答)+ 第一条路(Agent 调用订单查询接口,经过后端和数据库拿到实时状态)。如果要回答「最近一个月的退货率」,还会用到第二条路算好的报表数据。

✅ 验收清单 ​

  • 能不看资料画出三条路,每条路至少写出 4 个环节
  • 能说出 OLTP 和 OLAP 的 2 个区别,以及为什么要分开
  • 能说出学习站 6 个知识库各管哪一段

下一步该懂什么 ​