帶約束的二次型的極大值證明

試證明對於對稱陣 A$A$ 的二次型 f(x)=xTAx$f(x)={\mathrm{x}}^{T}A\mathrm{x}$ ，當 f(x)$f(x)$ 取得極大值時，x$\mathrm{x}$ 爲對稱陣 A$A$ 的最大的特徵值對應的特徵向量。

採用拉格朗日乘子法求解帶約束的二次型問題：

maximizexTAxsubject toxTx=1$$\begin{array}{rl}& \text{maximize}{\mathrm{x}}^{T}A\mathrm{x}\\ & \text{subject to}{\mathrm{x}}^T\mathrm{x}=1\end{array}$$

其拉格朗日函數爲：

L(x,λ)=xTAx−λ(xTx−1)$$L(\mathrm{x},\lambda )={\mathrm{x}}^{T}A\mathrm{x}-\lambda ({\mathrm{x}}^T\mathrm{x}-1)$$

對 L$L$ 求偏導，有：

∂L∂x=2Ax−2λx$$\frac{\mathrm{\partial }L}{\mathrm{\partial }\mathrm{x}}=2A\mathrm{x}-2\lambda \mathrm{x}$$

令 ∂L∂x=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }\mathrm{x}}=0$ ，得到 Ax=λx$A\mathrm{x}=\lambda \mathrm{x}$ ，即 λ$\lambda$ 是 A$A$ 的特徵值，x$\mathrm{x}$ 爲特徵值 λ$\lambda$ 對應的特徵向量。又由於 xTx=1${\mathrm{x}}^T\mathrm{x}=1$ ，有 L(x,λ)=xTAx=xTλx=λxTx=λ$L(\mathrm{x},\lambda )={\mathrm{x}}^{T}A\mathrm{x}={\mathrm{x}}^T\lambda \mathrm{x}=\lambda {\mathrm{x}}^T\mathrm{x}=\lambda$ 。所以， L$L$ 要取得最大值，即 λ$\lambda$ 要取得最大值，此時 λ$\lambda$ 應爲對稱陣 A$A$ 的最大的特徵值，而 x$\mathrm{x}$ 爲最大的特徵值對應的特徵向量。