反向传播不是新算法，只是链式法则的记账方式

上一篇写到 $\nabla_{θ} L$ 是一个投影方向。这一篇回答：几百万个参数，梯度怎么一次算完。

前向时存下中间量

设有两层：

z_{1} = W_{1} x, a = σ (z_{1}), z_{2} = W_{2} a, L = \frac{1}{2} ∥ z_{2} - y ∥^{2}

前向传播算出 $L$ ，同时把 $z_{1}$ 、 $a$ 、 $x$ 留着。留着它们不是为了省一次计算，而是因为反向时每个局部导数都要用到这些值。

我们想要 $\partial L / \partial W_{2}$ 和 $\partial L / \partial W_{1}$ 。先算最右边：

\frac{\partial L}{\partial z _{2}} = z_{2} - y

然后往前推一步。 $z_{2} = W_{2} a$ ，所以对 $a$ 的梯度是 $W_{2}^{⊤}$ 乘上游：

\frac{\partial L}{\partial a} = W_{2}^{⊤} \frac{\partial L}{\partial z _{2}}

注意这里出现的转置——它不是技巧，纯粹是形状对上了： $\partial L / \partial z_{2}$ 是 $p$ 维， $W_{2}$ 是 $n \times p$ ，只有乘 $W_{2}^{⊤}$ 才能得到 $n$ 维。

整个反向传播就是在做这件事，一路把 $p$ 维梯度变成 $n$ 维梯度。没有别的内容。

运算	前向	梯度怎么往回传
矩阵乘 $z = W x$	一次乘法	$\partial L / \partial x = W^{⊤} \cdot \partial L / \partial z$
加法 $z = x + y$	相加	原样复制给两边
$σ$ 逐元素	逐元素	乘 $σ^{'} (z)$
求和 $z = \sum x_{i}$	求和	广播回每个分量

这张表记住之后，看任何框架的自动微分文档都会变简单。所谓”框架帮你求导”，就是自动按这张表逐项往回传。

下一讲：动量法，以及为什么它能把扁平曲面上的震荡压掉。