設一個實對稱矩陣 XXX (X∈SnX\in S^nX∈Sn),它的最大特徵值爲 λmax\lambda_{max}λmax,則滿足性質: ∀y∈Rn,∥y∥2=1⟹yTXy≤λmax \forall y\in R^n, \|y\|_2=1\quad \Longrightarrow\quad y^TXy\leq \lambda_{max} ∀y∈Rn,∥y∥2=1⟹yTXy≤λmax
證明:
根據實對稱矩陣的另外一個性質: X=QTΛQX=Q^T\Lambda QX=QTΛQ 其中, QQQ 爲正交矩陣,即 QTQ=IQ^TQ=IQTQ=I,而 Λ\LambdaΛ 爲特徵根的對角線矩陣。 yTXy=yTQTΛQy=UTΛU(U=Qy)=λ1u12+λ2u22+⋯+λnun2≤λmax(u12+⋯+un2)=λmaxUTU=λmaxyTQTQy=λmaxyTy=λmax \begin{aligned} y^T X y=& y^T Q^T \Lambda Qy \\ =&U^T \Lambda U\quad (U=Qy) \\ =& \lambda_1 u_1^2+\lambda_2 u_2^2+\dots +\lambda_n u_n^2 \\ \leq & \lambda_{max}(u_1^2+\dots + u_n^2) \\ =&\lambda_{max}U^TU \\ =& \lambda_{max}y^T Q^TQy \\ =& \lambda_{max} y^Ty=\lambda_{max} \end{aligned} yTXy===≤===yTQTΛQyUTΛU(U=Qy)λ1u12+λ2u22+⋯+λnun2λmax(u12+⋯+un2)λmaxUTUλmaxyTQTQyλmaxyTy=λmax
證畢. □\Box□
如何生成隨機數及多元分佈的隨機數,發現佐治亞理工的一個課件,講的特別詳細,包括多種方法,以及如何生成多元正態分佈的隨機數: https://www2.isye.gatech.edu/~sman/courses/6644/Modul
全局優化算法實踐 全局優化算法概述 我們討論的無約束優化方法僅限於凸優化,這些方法的使用很依賴函數的性質和初始迭代點的選取,在很多情況下只能收斂到局部最小點。爲了在更大尺度,更復雜的函數中搜索,我們需要一些不被局部最優侷限的方法。