第①篇大模型是怎么“想”出回答的
AI 原理系列 · 第 1 篇
目录
你有没有想过一个怪事:AI 写一篇千字文章只要十几秒,可它连"想"的时间都没有。
它到底是在思考,还是在干别的?
今天用大白话把这件事讲透。这是「AI 原理」系列第 1 篇,看完这篇,后面几篇(RAG、向量数据库、AI Agent)你都能秒懂。
一、一句话答案:AI 不是在"想",是在"接下文"
先给结论:大模型干的唯一一件事,就是猜下一个字。
你问它"今天天气怎么样",它不是一个字一个字想好了再整段回复你,而是像玩接龙一样:猜出第一个字 → 把第一个字放进题目里 → 猜第二个字 → 再放进去 → 再猜第三个字……直到把回答接完。
就这么朴素。但"猜"得准不准,里面有大名堂。
二、它脑内到底发生了什么?三步
第一步:把你的话切成"小块"。
AI 不认识字,只认识数字。所以你发的每句话,会先被切成一个个小片段(行话叫 token),每个片段换成一个数字向量——你可以理解为给它编了个"身份证号"。
比如"我今天想吃火锅"可能被切成:我 / 今天 / 想 / 吃 / 火锅,五块。
第二步:注意力机制上场——找重点。
这是最关键的一步。AI 会拿每一块去跟其他所有块比对,判断"哪些词跟当前这个词关系最大"。
"吃"这个字旁边,"火锅"的关系显然比"今天"大。整个句子读完,谁跟谁有关系、关系多强,AI 心里就有了一张"关系网"。
第三步:一个字一个字往外蹦。
带着这张关系网,AI 算出"下一个最可能出现的字"是哪个,输出它;然后把这个新字也放进题目里,重新算一遍,再输出下一个……
你看到的行云流水的回答,其实是 AI 一秒内做了几千次这样的"接龙"。
三、一张图看懂全流程
大模型一次推理流程:输入一句话 → 分词成 token → 注意力机制 → 生成下一个 token左边是"输入:一句话",切成分词 token;中间那栋大房子是 Transformer 模型,柱子那一步就是注意力机制(看词与词关系);右边一串小方块,就是"生成下一个 token"——一个接一个往外蹦的回答。
四、明白原理后,有三个特别实用的推论
1. 为什么 AI 会一本正经地胡说八道?
因为它本质上是在"接最像样的下文",不是在"查资料"。接出来的话可以非常通顺,但不保证是真的。所以 AI 给的数字、日期、引用,一定要自己核对再用。
2. 为什么换个问法,答案质量差很多?
因为你的问题就是"题目"。题目里给的关系网越清楚(背景、要求、例子),AI 接龙的方向就越准。这不是玄学,是机制。
3. 为什么回答到一半会"断"?
很多 AI 有输出长度限制,接龙接到上限就得停——不是它"累了",是令牌(token 预算)用完了。
五、常见误解:AI 是不是真的"理解"了?
说实话:学界目前没有定论,这里只给你一个可靠的判断框架——
它能根据词与词的关系做出极其像"理解"的表现,但它是怎么对应到人类那种"懂",还没有答案。实际机制比"AI 会思考"和"AI 只是复读机"两种极端说法都更复杂。
对普通人来说,实用态度就一条:把它当一个接龙极强、偶尔出错、需要你把关的超级助手。
以上是原理科普,具体产品的表现可能随版本更新变化,仅供参考、请自行核对。
第②篇RAG:让 AI 先查资料再开口
AI 原理系列 · 第 2 篇
目录
上篇我们说了:大模型回答你,本质是在"接最像样的下文",而它背的东西只有训练时见过的。那问题来了——你公司的产品手册、你攒了三年的选品笔记,它压根没见过,怎么可能答得上来?
可现在不少 AI 工具,确实能"读懂"你的私有资料。秘密就一个词:RAG。
一、一句话答案:RAG = 先查资料,再开口
RAG 全称"检索增强生成",听着玄,拆开就两层:检索(去翻资料)+ 生成(AI 写回答)。
普通 AI 是"凭记忆答题";带 RAG 的 AI 是"先翻书、再答题"。多出来的那步"翻书",就是它突然变靠谱的关键。
二、它内部到底怎么跑?四步
第一步:把你的问题,变成"检索词"。
你问"我们去年卖得最好的三款货是啥",AI 先把它提炼成几个能去资料库里搜的关键词。
第二步:去你的知识库里翻(这一步叫"检索器")。
它拿检索词,去你指定的文档/数据库里,找出最相关的几段内容。注意:翻的是"你的"资料,不是全网。
第三步:把翻到的资料,塞回原问题(拼"上下文")。
AI 不会自己凭空答,而是把"你的问题 + 翻到的资料"拼在一起,变成一个带依据的完整题目。
第四步:AI 带着资料回答。
这时候大模型不是凭记忆硬接,是看着你给的资料,写出有出处的话。
三、一张图看懂全流程
RAG 流程:用户提问 → 检索器去知识库找相关片段 → 拼成上下文 → 大模型带着资料回答左边"用户提问"进检索器,去中间"知识库"里翻出相关片段,拼成上下文,最后送进大模型生成带资料的回答。
四、明白原理后,三个特别实用的推论
1. 为什么带 RAG 的 AI 更不容易胡说?
因为它回答时手里攥着你的资料,是"照着资料说",不是纯接龙。当然资料本身错了它也跟着错——所以资料质量决定天花板。
2. 为什么同样的问题,不同资料库答案差很多?
检索器只会在"你给它的范围"里翻。你喂的是精选手册,它就专业;你喂的是一堆乱文件,它就抓瞎。垃圾进垃圾出,在这行特别灵。
3. 为什么它有时"不知道"最新消息?
它只能查你接进来的资料。没接进来的、昨天的、实时的,它一概不知。别指望 RAG 替你盯 live 数据。
五、常见误解:装了 RAG,AI 就"懂"我的业务了?
不是。RAG 没让 AI 变聪明,只是给它开了个"能查你资料的窗口"。窗口外的世界它照样盲区。所以落地时最值钱的一步,永远是:把资料整理干净、接对地方。工具负责查,你负责喂。
以上是原理科普,具体产品的表现可能随版本更新变化,仅供参考、请自行核对。
第③篇向量数据库:AI 怎么“记得住”相似
AI 原理系列 · 第 3 篇
目录
接上篇。RAG 能"翻资料",靠的是背后有个会"按意思找东西"的数据库。普通数据库你给它精确关键词,它返回一模一样的;可你搜"适合送妈妈的生日礼物",它哪知道"康乃馨礼盒"算同类?
这就得靠向量数据库。今天讲它怎么让 AI 有了"凭感觉找相似"的本事。
一、一句话答案:把文字变成一串数字,按“距离”找相似
向量数据库干的事:把每段文字变成一个很长的数字串(叫向量 / embedding),意思越接近的文字,这串数字也越接近。找内容时,它不算"字面对不对",算"数字离得近不近"。
二、它内部怎么干活?三步
第一步:文字 → 向量(这一步叫"嵌入")。
"妈妈生日礼物"和"康乃馨礼盒"被模型变成两串数字,因为意思相关,这两串数字在空间里离得近。
第二步:把向量存进库。
你所有文档都先转成向量,整齐码在库里,每个对应原文。
第三步:来一个新问题,也转成向量,算"最近邻"。
新问题变成向量后,数据库量一量它跟库里谁离得最近,把最近的几段原文捞出来——这就是 RAG 检索器背后真正在跑的活。
三、一张图看懂
向量数据库流程:文本经嵌入变成向量存入库,新问题也变向量做相似度搜索,返回最近的几个邻居左边文本经嵌入模型变成向量,存进中间的向量库;右边新问题也变向量,做相似度搜索,返回最近的几个邻居。
四、三个实用推论
1. 为什么搜"周杰伦"能联想到"晴天"?
因为它们在训练语料里老一块出现,向量天然靠近。相似不是靠关键词匹配,是靠"一起出现的频率"学出来的。
2. 为什么错别字、换说法也能搜到?
"生日礼物"和"过寿送啥"向量接近,所以不用一字不差。这正是它比传统搜索聪明的地方。
3. 为什么它也会"找偏"?
嵌入模型不是真理,冷门、歧义、小语种容易向量错位。重要场景别全信相似度排序,人工兜底是必须的。
五、常见误解:向量数据库 = 更高级的表格?
差远了。普通表按"等于/不等于"查,向量库按"像不像"查。它不是把 Excel 换个皮,是换了一套"理解语义"的检索逻辑。你做 AI 应用,十有八九绕不开它。
以上是原理科普,具体产品的表现可能随版本更新变化,仅供参考、请自行核对。
第④篇AI Agent:会自己动手的 AI
AI 原理系列 · 第 4 篇
目录
前面三篇讲了 AI 怎么"想"(接下文)、怎么"查资料"(RAG)、怎么"找相似"(向量库)。但你会发现:这些还是"动嘴不动手"——它给你答案,活还得你干。
Agent(智能体)不一样:它能自己调工具、自己一步步把事办了。今天讲它凭什么"动手"。
一、一句话答案:Agent = 会调用工具的 AI + 能循环做决定
普通 AI 是"你问→它答"一次性。Agent 是"你给个目标→它自己想步骤→调工具执行→看结果→再想→直到干完"。多出来的"调工具"和"循环",就是它从"参谋"变"执行者"的关键。
二、它内部怎么跑?一个循环
第一步:你给目标。
"帮我查竞品这周上了什么新功能,整理成一份对比表。"这不是问答,是任务。
第二步:AI 拆步骤、挑工具。
它判断:要先搜网页(调搜索工具)、再读页面(调浏览器)、再写表格(调代码/文档工具)。
第三步:调工具、拿结果。
搜索工具真的去搜了,把内容回给它。注意:这一步是"真动手",不是嘴上说。
第四步:看结果、决定下一步。
它读完搜到的东西,发现还差一块,就再搜一次;够了,就调写表工具出成品。
三、一张图看懂
Agent 循环:用户给目标后,Agent 进入“思考 → 调用工具 → 观察结果”的循环,反复几轮直到产出最终答案用户给目标后,Agent 进入"思考 → 调用工具 → 观察结果"的循环,反复几轮,直到产出最终答案。
四、三个实用推论
1. 为什么 Agent 比聊天 AI 更能"办事"?
因为它手里有工具(搜索、代码、发邮件…),能把"想法"变成"动作"。你省的是执行环节,不是只多一段文字。
2. 为什么它有时会"跑偏"或死循环?
循环全靠 AI 自己判断"够没够"。判断错了就绕圈,或调错工具。所以重要任务要设"最多几步"和人工 checkpoint。
3. 为什么它离不开前面三篇的原理?
它"想"靠大模型接下文,"查"靠 RAG,"找"靠向量库。Agent 不是新模型,是把前面那些能力用"循环 + 工具"串起来的调度层。
五、常见误解:Agent = 全自动替我打工?
还早。它擅长"目标清楚、步骤可工具化"的任务;目标模糊、要担责、要人情世故的,现在仍得你坐镇。把它当"能自己跑腿的实习生",别当"替你扛责的老板"。
以上是原理科普,具体产品的表现可能随版本更新变化,仅供参考、请自行核对。
第⑤篇令牌桶限流:给 AI 后台装个“闸门”
AI 原理系列 · 第 5 篇
目录
前面四篇都在讲 AI 能力。最后这篇讲个"后台规矩":你用免费 AI 时,是不是常遇到"请求太频繁,请稍后再试"?或者调用接口时被告知"额度用完"?
背后管这事的,常是一个叫"令牌桶"的小机制。今天用大白话拆开它。
一、一句话答案:令牌桶 = 一个按固定节奏发“通行证”的桶
想象有只桶,系统每隔固定时间往里丢一张令牌(通行证)。你每次调用 AI,得先从桶里取走一张;桶空了,你的请求就被拦下或排队。它管的是"你一秒钟能调多少次",不是"AI 聪不聪明"。
二、它内部怎么管?三个数
第一个数:令牌生成速率(每秒发几张)。
比如每秒发 5 张,意味着你理论上一秒最多调 5 次。发得慢,你就得等。
第二个数:桶容量(最多能攒几张)。
平时你不用,令牌会攒着;攒到桶满就停。所以短时间突然多调几次,能靠"攒下的库存"顶一下,但顶完还得等速率补。
第三个数:每次调用扣几张。
有的按"次"扣(1 次 1 张),有的按"字数 / token"扣(生成长文扣得多)。后者就是你长回答更容易被限的原因。
三、一张图看懂
令牌桶:桶按固定速率收令牌,每次请求取走一张;桶空则请求被限流(拒绝或排队),等令牌补满再放行桶按固定速率收令牌,每次请求取走一张;桶空则请求被限流(拒绝或排队),等令牌补满再放行。
四、三个实用推论
1. 为什么"稍等再试"往往真有用?
因为桶在按速率回血。等几秒,令牌攒回来一两张,你就能再调。它不是永久封你,是节流。
2. 为什么半夜调用更顺、白天总被限?
白天用的人多,大家抢同一批令牌;你这边桶空得快。非高峰时段竞争少,自然顺。
3. 为什么付费档"不限"?
付费等于给你换了只更大的桶、或更快的发牌速率。本质还是令牌桶,只是额度宽松了。
五、常见误解:限流 = AI 故意刁难我?
不是。它是保护后方算力的"保险丝"。不限的话,少数人猛刷就能把服务拖垮,大家都用不了。理解它,你就能错峰用、或按额度设计自己的调用节奏。
以上是原理科普,具体产品的表现可能随版本更新变化,仅供参考、请自行核对。