AI 学习路线图 04 · 深度学习

ielts 👁 7 · 💬 0 · 📅 2026-09-16

← Blog 📡 RSS

English version: AI Learning Roadmap 04 · Deep Learning

04 · 深度学习

AI 学习路线图 · 第 4 站（共 9 站）

为什么这一站重要

经典机器学习给了你强大但需要手工打磨的模型：特征由人决定。深度学习拆掉了这个瓶颈——我们不再手工设计特征，而是训练网络自己学习特征。卷积网络不需要你手工设计边缘检测器；它从原始像素里自己发现它们。正是这一个转变，让深度学习征服了视觉、语音和语言，也让今天所有的大语言模型都以它为底座。

第 3 站带来的好消息：范式完全一样。 数据 → 模型 → 损失 → 梯度 → 更新。深度学习是同一个循环，只是模型更大、数据更多、外加几个新技巧。这一站让你熟练这些技巧，以及 PyTorch——你将在本路线图剩余部分一直使用的框架。

核心概念

1. 从感知机到深度网络

神经元是加权和加非线性激活：输出 = 激活(Wx + b)。权重 W 和偏置 b 是学出来的。（你已经知道了——这就是点积加一步，第 2 站的内容。）
激活函数提供非线性，让网络能建模任何东西。没有它们，堆叠层数只是线性变换——并不比单层强。主力：ReLU（max(0, x)——隐藏层默认，便宜，避免梯度消失）、sigmoid（压到 0–1——概率输出）、tanh（压到 –1 到 1）。
**多层感知机（MLP）**把层叠起来：输入 → 隐藏层 → 隐藏层 → 输出。每一层都变换表征；深度让网络能在概念之上构建概念（边缘 → 形状 → 物体）。
损失函数告诉模型错得多离谱：回归用 MSE；分类用交叉熵（配 softmax——输出层的概率分布）。选对损失和选对架构同样重要。
反向传播——你在第 2 站见过它的引擎（链式法则）。在这里它成为一个算法：计算损失，然后把梯度从输出端一路向后传播，给每个权重发一份"往哪个方向改进损失"的指引。框架（PyTorch 的 autograd）负责做微积分；你必须理解它在做什么：梯度从输出流向输入。

2. 训练动态 —— 实用核心

深度学习的大部分技能不是架构，而是训练。这些是你真正会花一辈子去拧的旋钮和技术：

**优化器：**带动量的 SGD（动量 = 保持一个速度，别走之字）和 Adam（根据梯度历史为每个权重自适应步长——"开箱即用"的默认选择）。
学习率：最重要的超参数。太大 → 发散；太小 → 龟速。现代实践：学习率调度（先热身，再衰减），有时用学习率寻找器（快速跑一遍多种学习率，挑下降最陡的那个）。一条平台期的损失曲线，往往是学习率问题，不是模型问题。
**批大小：**每次梯度更新用多少样本。小批量 = 噪声大但步子快（而且往往泛化更好）；大批量 = 稳定但吃内存。
深度网络的正则化：**dropout（训练时随机关掉神经元——逼网络不依赖任何单个神经元）、权重衰减（L2 惩罚——你在第 3 站见过的那个东西在深度学习的名字）、批归一化（把每层输入归一化——稳定并加速训练）、早停（盯验证损失，不降就停），以及数据增强**（抖动、翻转、裁剪图像——免费的额外数据）。
**调试循环：**先在一批数据上过拟合（如果模型连一批都背不下来，你的代码就是坏的）；然后看训练/验证曲线；当验证曲线偏离训练曲线时，你在过拟合——加正则化。损失曲线就是你的仪表盘；要学会像读仪表盘一样读它。

3. 卷积神经网络（CNN）—— 看懂图像

**为什么图像不用 MLP？**图像是像素网格；MLP 把它当扁平列表处理，丢掉空间结构——猫平移 5 个像素，对它来说就完全不一样了。而且它需要天文数字的参数。
卷积同时解决这两个问题：一个小滤波器（比如 3×3）在图像上滑动，在每个位置做点积。滤波器就是一个学出来的特征检测器（边缘、角点、纹理）；滑动它带来平移不变性——特征在图像任何位置都能被找到。关键概念：卷积核/滤波器（学出来的）、通道（很多滤波器 → 很多特征图）、步长与填充、池化（下采样：最大池化取窗口内的最大值——缩小特征图、带来一点不变性）、感受野（越深的层看到越大区域）。
经典架构（知道脉络就行，不用背数字）：LeNet（1998）→ AlexNet（2012，突破之年）→ VGG（更深，简单 3×3 堆叠）→ ResNet（2015：残差连接——让梯度自由流动、允许 100+ 层的跳跃连接；如今所有现代架构的思想源头）。今天：高效网络（MobileNet、EfficientNet），以及 Transformer 视觉化（ViT——第 5 站的架构用到图像上）。
**迁移学习——最重要的实用技巧。**拿一个在 ImageNet（数百万图像）上预训练好的网络，保留它学到的特征，只在你的小数据集上微调最后几层。几百张图像就能拿到接近最先进水平的结果。这个模式——在大数据上预训练、在你的数据上微调——是深度学习的通用模式，而且会在后面反复出现（BERT、GPT、CLIP）。现在就内化它。

4. 序列模型 —— 处理语言（旧时代）

在 Transformer 之前，语言靠循环网络处理：

RNN 逐 token 处理文本，把隐藏状态一路带下去——网络"记得"之前的内容。问题：隐藏状态是瓶颈；长距离信息会衰减（梯度消失）。
LSTM/GRU 增加显式记忆门，让信息能存活几千步。多年里它们是翻译、语音和文本生成的最先进水平。
词嵌入——另一根支柱：把每个词表示成稠密向量，语义相近的词距离相近（"国王 − 男人 + 女人 ≈ 王后"）。word2vec/GloVe 从共现统计中学到这个。这个想法——语义即几何——是第 5 站一切内容的基石。
seq2seq —— 编码器读输入，解码器写输出（翻译）。**最关键的局限：**循环是逐 token 处理的，长序列吃力；而且无法并行。于是注意力登场——你在第 5 站正式认识它。

5. PyTorch —— 你的框架

PyTorch 是你本路线图剩余部分要说的语言。核心对象：

张量（Tensor） —— NumPy 数组 + GPU 加速 + 梯度追踪。x.requires_grad_() 开启 autograd 记录。
Autograd —— 调用 loss.backward() 自动计算所有梯度。你永远不需要手写反向传播。
nn.Module —— 每个模型都是一个类：层写在 __init__，前向传播写在 forward。像乐高一样组合。
optim —— 优化器：torch.optim.Adam(model.parameters(), lr=1e-3)。
DataLoader —— 批处理、打乱、并行加载。Dataset + DataLoader = 数据管线。
训练循环（写上一百遍直到成为肌肉记忆）：清零梯度 → 前向 → 损失 → 反向 → 优化器步进。
GPU：model.to('cuda')，张量 .to('cuda')；Colab/Kaggle 给你免费 GPU。（小例子用 CPU 训练可以——但 GPU 的区别是 5 分钟和 5 小时。）

工具与技能

PyTorch（框架）、torchvision（数据集 + 预训练模型）。
免费 GPU —— Google Colab 或 Kaggle 笔记本。
Weights & Biases 或普通日志 —— 记录实验（损失、学习率、配置），方便对比运行。用电子表格都行；关键是记录。

动手任务

**MNIST/Fashion-MNIST 上的 MLP（第 1 周）。**构建深度学习的"Hello World"：手写数字分类。写完整循环：Dataset、DataLoader、模型、训练、评估。达到 95%+ 准确率。试试改学习率，观察发生什么（记录下来）。
**调试练习（第 1 周）。**故意在一批数据上过拟合；然后加 dropout，观察验证集变好。改批大小和学习率，记录损失曲线。这训练的是把真从业者和跟教程者区分开的直觉。
CIFAR-10 上的 CNN（第 2–3 周）。搭一个小 CNN（卷积 → ReLU → 池化 → ... → 全连接）。看它挣扎，然后用迁移学习：加载预训练 ResNet，冻结主干，只训分类头——看着准确率起飞。感受这个差别；这个差别就是迁移学习统治实践的原因。
**文本分类器（第 3–4 周）。**用嵌入 + 简单网络（或 LSTM）对电影评论（比如 IMDB）分类。对比词袋基线和嵌入，看看表征能买到什么。
**实验日志（全程）。**维护一份日志：每个实验的配置、曲线、结果、你学到什么。这份日志是你真正的理解作品集。

里程碑检查点

满足以下条件，你才能进入第 5 站：

你训练了图像分类器（CNN 或微调模型）和文本分类器，并且理解你写的训练循环的每一行。
你能把反向传播解释为"链式法则从输出端反向应用"，并说出为什么 autograd 让它自动化。
你能读懂损失曲线：发散长什么样？过拟合长什么样？两种情况各改什么？
你能解释迁移学习为什么有效，以及什么时候用它。
你能说出 RNN 的哪条局限引出了注意力。

精选资源

fast.ai 实用深度学习（第 1 部分）—— 最好的动手课程；第一周就搭真实模型。免费。
Andrej Karpathy —— Neural Networks: Zero to Hero—— 从零手搓一切；"micrograd"和"makemore"两个视频是直觉的黄金。
PyTorch 官方教程—— 先学 "Learn the Basics" 和 "Quickstart"，再做 60 分钟闪电战。
《深度学习》（Goodfellow, Bengio, Courville）—— 免费权威教材；选择性读第 6 章（MLP）、第 9 章（CNN）、第 10 章（序列）。
CS231n（斯坦福）—— 著名视觉课程笔记；"backprop"和"CNN"两节是全世界最好的书面解释。

时间规划

**总计：**约 6 周，每周 10–15 小时（约 75 小时）。
**建议安排：**第 1–2 周 → MLP + 训练动态 + 调试练习；第 3–4 周 → CNN + 迁移学习；第 5–6 周 → 序列模型、嵌入、文本分类器、里程碑。

衔接下一站

你刚学会的一切——层、梯度、迁移学习、嵌入——都是在为一个改变一切的架构做准备。第 5 站介绍注意力和 Transformer：这台机器不再逐词读文本，而是一次性读全部，让每个词和每个词互相权衡，成为当今所有语言模型的基石。你现在的思维工具箱，恰好是为遇见它准备的。