别再零散学大模型了!这份知识点分类框架,建议收藏
AI大模型的知识点可以按“从造到用”的工程逻辑来分类,主要涵盖底层原理、训练流程、对齐微调、推理部署、应用开发以及安全评估等几个核心板块。
基础理论与模型架构
这是理解大模型“为什么能工作”的基石,主要涉及核心原理与网络结构。
核心架构:以 Transformer 为绝对核心,需掌握自注意力机制(Self-Attention)、多头注意力、位置编码以及残差连接等细节。
模型微观概念:理解 Token(模型处理文本的最小单位,不等于字或词)、Tokenizer(编解码器)、上下文窗口(Context Window,模型单次能处理的最大 Token 数)以及 Embedding(将文本转为向量的技术)。
数据工程与预训练
这一阶段决定了模型的“先天能力上限”,涉及如何用海量数据喂出一个基座模型。
预训练技术:包括 Scaling Laws(缩放定律,研究模型性能与参数量/数据量的关系)、分布式并行训练(数据并行、流水线并行、张量并行)以及混合精度训练(如 BF16/FP16)。
基座模型:经过预训练后得到的通用模型(如 GPT、LLaMA、DeepSeek 等基础版本),具备通用的文本续写与知识储备能力。
微调与人类对齐
让“桀骜不驯”的基座模型变得“听话”且符合人类价值观的关键步骤。
推理部署与工程优化
解决模型“如何跑得快、跑得省、跑得稳”的工程问题。
解码策略:控制模型生成文本的方式,如贪心搜索、束搜索(Beam Search)、温度采样(Temperature)、Top-k/Top-p 采样,用以调节输出的确定性与创造性。
推理加速:利用 KV Cache、PagedAttention(如 vLLM 框架)、FlashAttention 以及推测解码(Speculative Decoding)等技术降低显存占用并提升生成速度。
应用开发与智能体
这是目前大多数开发者直接接触的层面,核心是如何用 API 和工具构建产品。
提示工程:设计高质量的 Prompt(指令),包括角色设定、Few-Shot(少样本示例)、思维链(CoT)(引导模型逐步推理)等技巧。
智能体与工具调用:让模型具备使用工具的能力(Function Calling / Tool Use),结合 Agent 架构进行规划与执行,以及 MCP(模型上下文协议)等标准化接口。
评估与安全伦理
确保模型在实际落地中可靠且可控。
如果你是在准备面试或规划学习路径,建议根据目标岗位(如应用开发 vs. 算法训练)在上述分类中有所侧重。