深度學習/機器學習入門基礎數學知識整理（七）：數學上sup、inf含義，和max、min的區別

inf和sup的定義

經常在文獻中看到inf和sup，很多人不知道是什麼意思。其實這兩個概念是來自於“數學分析”中的上確界和下確界：

• inf： infimum 或 infima，中文叫下確界或最大下界。 inf(S)， S表示一個集合， inf(S)是指集合S的下確界， 即小於或等於S中所有元素的最大值， 這個數不一定在集合S中。
• sup：supremum，中文叫上確界。sup(S)是指集合S的上確界，即大於或等於S的所有元素的最小值， 這個數不一定在集合S中。

下面給出一些集合上的簡單例子[1]：

inf例子：

1. $inf\{1,2,3\} = 1$;
2. $inf\{x \in \mathbb{R}, 0<x<1 \} = 0$ ;
3. $inf\{(-1)^{n} + 1/n : n = 1, 2, 3,...\} = -1$;

如果一個集合有最小元素， 則下確界等於這個最小元素，下確界屬於這個集合，如例子1；反之，則下確界不屬於這個集合，這一點從例子2，3，中可以看出。

sup例子：

1. $sup\{1,2,3\} = 3$;
2. $sup\{x \in \mathbb{R}, 0<x<1 \} = sup\{x \in \mathbb{R}, 0\leq x\leq1 \} = 1$;
3. $sup\{(-1)^{n} - 1/n : n = 1, 2, 3,...\} = 1$;

如果一個集合有最大元素， 則上確界等於這個最大元素，上確界屬於這個集合，如例子1；反之，則上確界不屬於這個集合，這一點從例子2，3 中可以看出。

inf和sup的性質、證明

簡單性質：

• $sup\{a+b:a\in A\ and\ b \in B\} = sup(A)+sup(B)$;
• $inf\{a+b:a\in A\ and\ b \in B\} = inf(A)+inf(B)$;

證明：令A+B={a+b|a∈A,b∈B}，求證：sup(A+B)=supA + supB

首先證明supA+supB是集合A+B的一個上界，再證明其是一個最小的上界：
另外上述性質對減法、乘法、除法是不成立的。很容找到反例，例如A={-1,1},B={-5,1}，那麼sup(A*B)=5，而supA=1、supB=1，乘法是不成立的。減法和除法也類似，很容易找到反例。

sup, inf和max, min的區別

集合是比較簡單容易理解的，但是實際中用的比較多是表示一個函數上下確界，寫成$sup f(x)$，$inf f(x)$。使用 inf 或 sup 總能保證一個函數的 inf 或 sup 存在，而函數的 min 或 max 有時候不存在。例如
$f(x)=sin(x)/x$該函數在 x=0 處沒有值，因此其最大值即 max 不存在，但是我們可以看出 f(x) 最小的上界爲 1，即 $sup f(x)=1$。

參考資料

[1] https://blog.csdn.net/D_turtle/article/details/81901853
[2] https://www.zybang.com/question/6adc7986ab84c9d94fdc00ccfdc1f7db.html
[3] https://blog.csdn.net/robert_chen1988/article/details/81233738