超參數搜索算法一般包括以下要素：
- 目標函數，即算法需要最大化、最小化的目標；
- 搜索範圍，一般通過上限和下限來確定；
- 算法的其他參數
網格搜索
最簡單，應用最廣泛的超參數搜索算法
通過查找搜索範圍內的所有的點來確定最優值
如果採用較大的搜索範圍以及較小的步長，網格搜索有很大概率找到全局最優值
這種搜索方案十分消耗計算資源和時間，特別是需要調優的超參數比較多的時候
實際應用中，網格搜索法一般會先使用較廣的搜索範圍和較大的步長，來尋找全局最優值可能的位置，然後逐漸縮小搜索範圍和步長，來尋找更精確的最優值
隨機搜索
隨機搜索的思想與網格搜索比較相似，只是不再測試上界和下界之間的所有值，而是在搜索範圍中隨機選取樣本點
其理論依據是，如果樣本點集足夠大，通過隨機採樣也能大概率地找到全局最優值，或者近似值
隨機搜索一般會比網格搜索要快一些，但是和網格搜索的快速版一樣，結果也是沒法保證的
貝葉斯優化
貝葉斯優化算法在尋找最優最值參數時，採用了網格搜索、隨機搜索完全不同的方法
網格搜索和隨機搜索在測試一個新點時，會忽略前一個點的信息
貝葉斯優化算法則充分利用了之前的信息
貝葉斯優化算法通過對目標函數形狀進行學習，找到使目標函數向全局最優值提升的參數
學習目標函數形狀的方法是，首先根據先驗分佈，假設一個搜索函數，然後，每一次使用新的採樣點來測試目標函數時，利用這個信息來更新目標函數的先驗分佈；最後，算法測試由後驗分佈給出的全局最值最可能出現的位置的點
貝葉斯優化算法，一旦找到一個局部最優值，會在該區域不斷採樣，所以很容易陷入局部最優值
爲了彌補這個缺陷，貝葉斯優化算法會在探索和利用之間找到一個平衡點，“探索”就是在還未取樣的區域獲取採樣點；而“利用”則是根據後驗分佈在最可能出現全局最值的區域進行採樣