文章详情

回到文字本身,慢慢读完一篇文章。

AI大模型

别再零散学大模型了!这份知识点分类框架,建议收藏

2026-11-19 4 0 0
别再零散学大模型了!这份知识点分类框架,建议收藏

AI大模型的知识点可以按“从造到用”的工程逻辑来分类,主要涵盖底层原理、训练流程、对齐微调、推理部署、应用开发以及安全评估等几个核心板块。

基础理论与模型架构

这是理解大模型“为什么能工作”的基石,主要涉及核心原理与网络结构。

  • 前置基础:深度学习、自然语言处理(NLP)基础,以及支撑模型运算的线性代数与概率统计知识。

  • 核心架构:以 Transformer 为绝对核心,需掌握自注意力机制(Self-Attention)、多头注意力、位置编码以及残差连接等细节。

  • 模型微观概念:理解 Token(模型处理文本的最小单位,不等于字或词)、Tokenizer(编解码器)、上下文窗口(Context Window,模型单次能处理的最大 Token 数)以及 Embedding(将文本转为向量的技术)。

数据工程与预训练

这一阶段决定了模型的“先天能力上限”,涉及如何用海量数据喂出一个基座模型。

  • 数据工程:涵盖数据的采集、清洗去重、质量过滤、标注与混合配比,以及合成数据的使用。

  • 预训练技术:包括 Scaling Laws(缩放定律,研究模型性能与参数量/数据量的关系)、分布式并行训练(数据并行、流水线并行、张量并行)以及混合精度训练(如 BF16/FP16)。

  • 基座模型:经过预训练后得到的通用模型(如 GPT、LLaMA、DeepSeek 等基础版本),具备通用的文本续写与知识储备能力。

微调与人类对齐

让“桀骜不驯”的基座模型变得“听话”且符合人类价值观的关键步骤。

  • 指令微调(SFT):通过高质量的“指令-回答”数据对,让模型学会遵循人类指令完成任务。

  • 人类对齐(RLHF/DPO):基于人类反馈的强化学习(RLHF)或直接偏好优化(DPO),让模型的输出符合人类的偏好(如有用、诚实、无害),减少有害或偏见内容。

  • 参数高效微调:如 LoRA,允许在不大幅改动全量参数的情况下,用较低成本让模型适配特定垂直领域。

推理部署与工程优化

解决模型“如何跑得快、跑得省、跑得稳”的工程问题。

  • 解码策略:控制模型生成文本的方式,如贪心搜索、束搜索(Beam Search)、温度采样(Temperature)、Top-k/Top-p 采样,用以调节输出的确定性与创造性。

  • 推理加速:利用 KV Cache、PagedAttention(如 vLLM 框架)、FlashAttention 以及推测解码(Speculative Decoding)等技术降低显存占用并提升生成速度。

  • 模型压缩:通过量化(如 INT8/INT4)、剪枝、知识蒸馏等手段,减小模型体积,使其能在消费级显卡或端侧设备上运行。

应用开发与智能体

这是目前大多数开发者直接接触的层面,核心是如何用 API 和工具构建产品。

  • 提示工程:设计高质量的 Prompt(指令),包括角色设定、Few-Shot(少样本示例)、思维链(CoT)(引导模型逐步推理)等技巧。

  • 检索增强生成(RAG):结合外部知识库,通过向量检索召回相关文档并喂给模型,从而解决模型幻觉和知识时效性问题。

  • 智能体与工具调用:让模型具备使用工具的能力(Function Calling / Tool Use),结合 Agent 架构进行规划与执行,以及 MCP(模型上下文协议)等标准化接口。

评估与安全伦理

确保模型在实际落地中可靠且可控。

  • 模型评测:包括基于公开榜单(如 MMLU、GSM8K)的客观评测,以及利用强模型作为裁判(LLM-as-a-Judge)的主观评测。

  • 安全与伦理:涉及模型的价值观对齐、越狱攻击(Jailbreak)与防御、红队测试、以及隐私保护和偏见消除。

如果你是在准备面试或规划学习路径,建议根据目标岗位(如应用开发 vs. 算法训练)在上述分类中有所侧重。