【機器學習】LP距離、歐式距離、曼哈頓距離、切比雪夫距離

其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。

  設特徵空間$\chi$是$n$維實數向量空間$R^n$，${x_i},{x_j} \in \chi$，$x _ { i } = \left( x _ { i } ^ { ( 1 ) } , x _ { i } ^ { ( 2 ) } , \cdots , x _ { i } ^ { ( n ) } \right) ^ { T }$，$x _ { j } = \left( x _ { j } ^ { ( 1 ) } , x _ { j } ^ { ( 2 ) } , \cdots , x _ { j } ^ { ( n ) } \right) ^ { \mathrm { T } }$。

1. 閔可夫斯基距離（Minkowski distance,$L_p$距離）

  $x_i,x_j$的$L_p$距離定義爲：
$L _ { p } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { p } \right) ^ { \frac { 1 } { p } }$
其中，$p \ge 1$。

2. 曼哈頓距離（Manhattan distance）

  當$p=1$時，$L_p$距離就變成了曼哈頓距離：
$L _ { 1 } \left( x _ { i } , x _ { j } \right) = \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right|$

3. 歐式距離（Euclidean distance）

  當$p=2$，$L_p$距離就變成了歐幾里得距離：
$L _ { 2 } \left( x _ { i } , x _ { j } \right) = \left( \sum _ { l = 1 } ^ { n } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right| ^ { 2 } \right) ^ { \frac { 1 } { 2 } }$

4. 切比雪夫距離（Chebyshev distance）

  當$p = \infty$，$L_p$距離就變成了切比雪夫距離，它是各個座標距離的最大值：
$L _ { \infty } \left( x _ { i } , x _ { j } \right) = \max _ { l } \left| x _ { i } ^ { ( l ) } - x _ { j } ^ { ( l ) } \right|$

參考文獻：

1. 《統計學習方法》第三章k近鄰模型——李航