統計學習方法筆記（十五）

統計學習方法筆記（十五）：奇異值分解

概述

• 奇異值分解（singular value decomposition，SVD）是一種矩陣因子分解法，是線性代數的概念
• 矩陣的奇異值分解不是唯一的
• 任意給定一個實矩陣，其奇異值分解一定存在
• 奇異值分解是在平方損失意義下對矩陣的最優近似。
• 矩陣的奇異值分解也可以看作是將其對應的線性變換分解爲旋轉變換、縮放變換以及旋轉變換的組合，且這個變換組合一定存在

正交矩陣和正交向量

• 正交矩陣
  

• 正交向量：若兩向量，它們的點積爲0，則它們互相稱爲正交向量，如（1，1，0）和（1，-1，0）

奇異值分解定義

• 一個例子
  
  

緊奇異值分解與截斷奇異值分解

• 緊奇異值分解是與原始矩陣等秩的奇異值分解；截斷奇異值分解是比原始矩陣低秩（通常低很多）的奇異值分解

• 緊奇異值分解對應着無損壓縮；截斷奇異值分解對應着有損壓縮

• 緊奇異值分解
  

• 截斷奇異值分解
  

主要性質

奇異值分解的計算