對偶（duality）的含義

對偶問題機器學習或者線性規劃等問題中經常被提到，如卡爾曼濾波與信息濾波互爲對偶形式，支持向量機以及感知機也存在對應的對偶問題，那麼應該怎樣理解對偶問題呢？

對偶（duality）是一個在數學裏面很普遍的概念，通常表示了一種 involution 的結構。也就是說， $x$ 是一個concept, theorem 或者 mathematical structure， $f(x)$是某種變換，如果有（but not always）$f(f(x))=x$ ，那麼 $x$與$f(x)$就互爲 dual。

如對偶概念的一個常見的應用：對於複雜的約束優化問題，如果可以找到一個易於求解的對偶問題，則通過對對偶問題的求解，得到原問題的解。雖然對偶理論起源於對線性規劃問題的研究，但廣義的對偶在數學裏面有着廣泛的應用。