矩阵求导

标量方程对向量求导

在现代控制理论中，很多理论的推导都需要使用到矩阵的运算，尤其是在计算最优控制中，会经常需要求解多维方程的导数。

基本定义

对于一个标量函数，其中是维列向量，标量对向量的求导得到的是梯度向量。

• 梯度向量： $$\nabla_\mathbf{x}f= \frac{\partial{f}}{\partial{\mathbf{x}}}= \begin{bmatrix} \frac{\partial{f}}{\partial{x_1}} \\ \frac{\partial{f}}{\partial{x_2}} \\ \vdots \\ \frac{\partial{f}}{\partial{x_n}} \end{bmatrix}$$

这意味着对每一个分量都分别求偏导。

常见的标量函数对向量的求导

线性函数

$$f(\mathbf{x})=\mathbf{a}^\top\mathbf{x}$$

其中，是一个常向量。

• 求导结果： $$\frac{\partial{f}}{\partial{\mathbf{x}}}=\mathbf{a}$$

二次型函数

$$f(\mathbf{x})=\frac{1}{2}\mathbf{x}^\top{A}\mathbf{x}$$

其中，是一个常向量。

• 求导结果： $$\frac{\partial{f}}{\partial{\mathbf{x}}}=A\mathbf{x}$$

欧几里得范数平方

$$f(\mathbf{x})=\frac12\|\mathbf{x}\|_2^2=\frac12\mathbf{x}^\top\mathbf{x}$$

• 求导结果： $$\frac{\partial{f}}{\partial{\mathbf{x}}}=\mathbf{x}$$

二范数函数

$$f(\mathbf{x})=\|\mathbf{x}\|_2=\sqrt{\mathbf{x}^\top\mathbf{x}}$$

• 求导结果： $$\frac{\partial{f}}{\partial{\mathbf{x}}}=\frac{\mathbf{x}}{\|\mathbf{x}\|_2}$$

链式法则

如果标量函数是通过一个向量函数间接定义的，即，那么我们需要使用链式法则。

$$\frac{\partial{f}}{\partial{\mathbf{x}}}= \frac{\partial{h}}{\partial{\mathbf{g}}} \cdot \frac{\partial{g}}{\partial{\mathbf{x}}}$$

例子：求解一个具体的标量函数的梯度

• 损失函数为：

  $$L(\mathbf{w})=\frac12\|X\mathbf{w}-y\|_2^2$$

  其中，，，

• 求梯度：

  $$L(\mathbf{w})=\frac12(X\mathbf{w}-\mathbf{y})^\top(X\mathbf{w}-\mathbf{y})$$

• 对求导：

  $$\frac{\partial L}{\partial\mathbf{w}}=X^\top(X\mathbf{w}-\mathbf{y})$$