- AI 领域术语数量在过去两年翻了约 3 倍，大量概念从学界扩散到业界时出现混用和误用
- RAG 和微调解决的是不同问题：RAG 管知识检索，微调管行为对齐，两者不是替代关系
- Agent 不是 Chain/Workflow 的高级叫法，本质区别在于 Agent 有自主决策循环（感知→规划→行动→观察）
- 上下文窗口是硬容量限制（类比桌面面积），记忆是长期存储机制（类比文件柜），两者解决不同层次的"遗忘"问题
- LoRA 是低秩近似（压缩），OFT 是旋转（保持范数），两者都是 PEFT 但数学属性不同
- MoE 是稀疏激活，Ensemble 是投票集成，前者用于降低单次计算量，后者用于提升预测稳定
AI vs ML vs DL：三个圈的关系
这三个词常被混用，但它们是包含关系。
人工智能（AI） 是最大的范畴——任何让机器表现出智能行为的技术都算，包括符号推理、专家系统、搜索算法等。1956 年达特茅斯会议就提出了 AI 概念。
机器学习（ML） 是 AI 的子集——让机器从数据中学习规律，而不是人工编写规则。核心特征是用数据驱动模型参数。1990 年代开始主导 AI 领域。
深度学习（DL） 是 ML 的子集——使用多层神经网络（深层结构）进行学习。2012 年 AlexNet 在 ImageNet 上赢得比赛后成为主流。今天的 LLM、扩散模型、视觉模型都属于深度学习范畴。
类比：AI 是"让机器变聪明"的总目标，ML 是"让它自己学"，DL 是"搭一个很深的神经网络让它学"。
LLM vs 生成式 AI：大语言模型不是全部
LLM（大语言模型） 专门指基于 Transformer 架构、在大规模文本语料上预训练的语言模型。核心能力是文本理解和生成。代表：GPT 系列、Claude、Gemini、DeepSeek。输入输出以文本为主。 生成式 AI（GenAI） 是更大的范畴——任何能生成新内容（不限于文本）的 AI 技术。包括文生图（Stable Diffusion、DALL·E）、文生视频（Sora、Veo）、文生音乐（Suno）、文生代码（Codex）、文本生成（LLM）等。 混淆的根源：LLM 是当前生成式 AI 浪潮中最出圈的产品，很多人误以为"生成式 AI = LLM"。实际上 LLM 只是生成式 AI 的一个子类。
选型指南：只需要做文本对话或代码 → LLM。需要生成图片、视频、3D、音乐 → 找对应的生成式 AI 模型。
RAG vs 微调：解决不同的问题
这对概念在 RAG 概念普及后频繁被并列讨论，但它们的定位完全不同。
RAG（检索增强生成）：不动模型参数。把外部知识库（文档、数据库、网页）先检索出相关内容，拼到提示词里让模型参考回答。核心优势是知识实时更新、来源可追溯。
微调（Fine-tuning）：更新模型参数。在特定数据上继续训练模型，让模型学会某种行为模式或知识。核心优势是行为对齐（学会你的输出风格、格式偏好）。
常见误用：以为 RAG 可以替代微调来做格式对齐——RAG 可以给模型知识，但改变不了模型输出的默认格式。反之，以为微调可以替代 RAG 来让模型掌握最新知识——微调一次后知识就固化了，没法实时更新。
推荐组合：非敏感、需要实时更新的知识用 RAG；输出格式、行为偏好用微调；两者互补使用。
Agent vs Workflow / Chain：有没有自主决策
Workflow / Chain：把 LLM 调用编排成一个固定序列。A 的输出给 B，B 的输出给 C，按预定路径执行。确定性高，行为可预测。
Agent（智能体）：引入自主决策循环——感知环境 → 规划 → 使用工具 → 观察结果 → 再规划。Agent 可以决定调用什么工具、什么顺序、是否重试。
本质区别：Workflow 是 if-this-then-that 的确定性路径，Agent 模型自己决定下一步做什么。
混淆根源：很多框架把简单的 Chain 也包装成"Agent"卖点。判断标准：去掉预设逻辑后，如果还能处理异常或重新规划，才是真 Agent。
选型：流程固定的重复任务（每天发日报）→ Workflow 就够了。需要处理多步骤、不可预见的输入（客服、编程助手）→ 需要 Agent。
上下文 vs 上下文窗口 vs 记忆：三个层次的"遗忘"
三个概念常被混为一谈，但指向不同层面的问题。
上下文（Context） 是模型在单次会话中"看到"的全部信息——系统提示词、对话历史、当前用户输入、工具返回结果。它是模型生成回复时实际参考的材料，决定了模型"了解什么背景"。上下文的内容由开发者/用户主动塞入，不是模型架构的一部分。
上下文窗口（Context Window） 是模型架构决定的硬容量上限——一次最多能处理多少 token。就像一张桌子的面积：你可以往上摆资料（上下文），但超过桌面尺寸的部分会被挤掉。不同模型的窗口大小不同（128K ~ 1M token）。
记忆（Memory） 是跨会话存储和检索信息的机制。上下文窗口关掉后信息就丢了，记忆让你在下次会话中找回之前的信息。就像文件柜——用完桌子可以把资料存回去，下次再取出来。
混淆原因：在日常用语中，"上下文"和"上下文窗口"经常混用——有人说"模型上下文有 128K"，实际指的是上下文窗口。而"模型忘了"可能来自三个完全不同的原因：没喂给它（上下文不足）、喂了但被截断了（窗口满了）、换会话了（没有记忆系统）。解决方案也完全不同——分别是：加更多材料、换长窗口模型或做压缩、搭建持久化记忆。
Token vs Embedding：文本的两种数学表示
Token 是文本被分词后的基本单位。一个 token 不一定等于一个词——英文中约 0.75 个词 = 1 个 token，中文中约 1.5 个字 = 1 个 token。Token 是离散的（有固定 ID），用于模型生成文本时的最基本的操作单元。
Embedding 是把 token（或词、句子）映射到一个高维连续向量空间。Embedding 是连续的（浮点数向量），用于计算语义相似度。两个 embedding 向量越接近，语义越相似。
类比：Token 是身份证号（离散编号，标识身份），Embedding 是 GPS 坐标（连续数值，表示位置和距离）。
为什么容易混淆：两者都是文本到数值的转换，使用的场景不同。LLM 推理时用的分词器产生 token，检索系统（RAG、语义搜索）用的是 embedding。一个模型默认就有 token（训练和生成的基本单元），但 embedding 需要额外生成或检索。
温度（Temperature）vs Top-p vs Top-k：采样策略三件套
这三个参数控制 LLM 生成文本时的"随机性程度"，但作用层级不同。
温度（Temperature）：调整 Softmax 输出概率分布的"陡峭程度"。温度越低（→0），模型越保守，总是选概率最高的 token；温度越高（→2），概率分布越平坦，低概率 token 也有机会被选中。
Top-k：只从概率最高的 k 个 token 中采样，其余全部忽略。这是一个硬截断。
Top-p（核采样）：从累积概率超过 p 的最小 token 集合中采样。当 p=0.9 时，只考虑累积概率达到 90% 的 token 集合。
三者关系：实际推理时通常组合使用：先 Top-k 过滤掉长尾 token，再按 Top-p 截取最小概率核，再按温度缩放后的概率分布采样。
常见误用：把 Temperature 当成唯一随机性控制——实际上 Top-p 和 Top-k 也在起作用。多个模型对比时只调 Temperature 不公平。
LoRA vs OFT vs 全参数微调：三种训练方式的本质
全参数微调（Full Fine-tuning）：更新模型所有权重。效果最灵活，但算力和内存开销最大。
LoRA（低秩适配）：冻结原始权重，在旁边加两个小矩阵（低秩分解），只训练这两个小矩阵。核心假设：参数更新量在低秩子空间中。适合大多数微调场景。
OFT（正交微调）：同样冻结原始权重，但对参数做正交旋转（保持范数不变）。OFT 的核心属性是保持输出的模长稳定，在 RL 场景中表现优于 LoRA。
混淆原因：LoRA 和 OFT 都叫"参数高效微调"（PEFT），都只训练适配器，但数学原理不同。LoRA 是加性的（A×B 加在 W 上），OFT 是旋转的（Q×W）。
MoE vs Ensemble：稀疏激活 vs 投票集成
MoE（混合专家模型）：把一个模型内部拆成多个"专家"子网络，每次输入只激活其中部分专家。如 DeepSeek-V4、Mixtral。目的是在保持模型容量的同时控制单次推理的计算成本。
Ensemble（集成学习）：训练多个独立的模型，推理时综合它们的输出（投票、平均、加权）。目的是降低单个模型的偏差和方差，提升稳定性和准确率。
| | |
|---|
| | |
| | |
| | |
| | |
| Mixtral 8×7B、DeepSeek MoE | |
混淆原因：两者的名字中都带"多个模型/专家"的概念。区别核心：MoE 是架构层面的设计（一个模型），Ensemble 是系统层面的策略（多个模型）。
监督微调（SFT）vs RLHF / RL：对齐的两阶段
SFT（监督微调）：用人工标注的"输入-理想输出"对训练模型。目标是让模型学会模仿示例的输出格式和内容。是对齐的第一步。
RLHF / RL（基于人类反馈的强化学习 / 强化学习）：不直接教模型应该输出什么，而是通过奖励信号让模型自己探索更好的输出策略。模型生成多个候选→奖励模型打分→策略优化。
为什么需要两步：SFT 教会模型"格式和风格"，但模仿的只是人类标注者的平均偏好。RLHF 让模型在更大的探索空间中寻找超越人类示范水平的策略——这在数学推理、编程等有明确对错的领域效果显著。
混淆原因：很多人把"用数据训练"统称为微调，不清楚 SFT 和 RLHF 在数据形式和训练方式上的本质区别。
语义搜索 vs 关键词搜索：匹配方式不同
关键词搜索（BM25、Elasticsearch）：按字面匹配。用户搜"苹果"，文档里出现"苹果"就可能命中。速度快，但无法处理同义词和语义近似。
语义搜索（Vector Search、Dense Retrieval）：按语义匹配。用户搜"苹果"，可以匹配"iPhone""水果""乔布斯"，取决于上下文。基于向量 embedding 计算相似度。
选型：两者不是替代关系，而是互补。主流做法是混合搜索（Hybrid Search）——同时做关键词和语义搜索，再用 RRF（倒数排名融合）合并结果。
Transformer vs Attention：架构和机制的区别
Attention（注意力机制）：一种让模型在处理序列时"关注"不同位置信息的计算方法。核心是计算 Query 和 Key 之间的相关性，按权重聚合 Value。2017 年之前就已存在（Bahdanau Attention）。
Transformer：一种完整的神经网络架构，以 Attention 为核心组件（多头注意力 + 前馈网络 + 层归一化 + 残差连接）。2017 年 Google 在"Attention Is All You Need"中提出。
混淆根源：Transformer 的论文名太成功，导致很多人以为 Attention = Transformer。实际上 Attention 只是 Transformer 的一个模块，可以嵌入到 RNN、CNN 等其他架构中使用。
类比：Attention 是"螺丝钉"，Transformer 是"房子"。房子用了螺丝钉，但螺丝钉也可以在其他构造中使用。
AI 速览
