編譯：yxy
出品：ATYUN訂閱號
優化是幾乎所有機器學習和統計技術的核心。在本文中，我們討論最流行的機器學習和統計建模方法背後的核心優化框架。通常，數據科學（DS）和機器學習（ML）的新手通常被建議去學習統計學和線性代數方面的所有知識。想要在數據科學或機器學習取得事業成功，確實需要在兩個科目中建立堅實基礎。然而，優化這個話題雖然不那麼受關注，但對於任何嚴肅的數據科學和分析從業者來說同樣重要。
甚至可以說，如果不能很好地理解優化，我們對數據驅動的文化和生活的現代世界觀仍然是不完整的。
這這是因爲優化是每一個主要業務、社會、經濟甚至個人決策的核心，而這些決策由個別的人，集體代表人、智能機器和軟件智能體做出。
日常的例子
你每天都在優化變量並穩固你的個人決策，只是你大部分時間沒有有意識地認識到這個過程 –
- 安排回覆郵件的順序
- 換一條回家的新路線來減少交通擁堵
- 試着在午餐和下午會議之間擠出一點時間，在辦公室周圍散散步
這些看似人性化的決定中的每一個都可以使用冷冰冰的數學模型精確建模，這顯示了我們的大腦是一個驚人的優化器，可以整天解決這些複雜的計算問題！
現在，我們暫時擺脫人的角度轉向關於數據科學的問題：
優化對數據科學到底有多重要？
答案是：非常重要！
基礎科學，商業組織和工程企業長期以來一直在使用優化技術和方法。從這個意義上說，幾乎每種工程產品都是一種嚴密的物理（也可能是虛擬）形式的優化問題解決方案。工程師經過專門培訓，可以在資源有限的情況下工作，並從不完整或嘈雜的數據或輸入中生成足夠好的解決方案。基本上它們每天都可以通過計算機，半導體集成電路，熔爐或內燃機來解決優化問題。
商業組織也是如此。事實上，每項業務決策都是爲了在時間，預算，空間以及法律和道德界限的約束下最大化某種形式的收益。這些都是某種形式的優化問題。
如今，幾乎所有的商業和技術都受到數據科學和機器學習帶來的新範式變革的影響。然而，這並沒有改變基本的自然資源和人力資源仍然有限的事實。一天仍然只有24小時。法律和道德界限也不會就此消失。
人工智能或機器學習等先進技術可能能夠指導企業以更快的速度獲得更好的解決方案，但他們必須面對並解決與以前相同（甚至更復雜）的優化問題。大量新數據將有助於這個過程，但隨着時間的推移，人們的期望也會越來越高。
簡單的舉個例子，假設在過去，工程團隊可以通過1GB的數據產生10美元成本的最佳解決方案，那麼如果給予我們更豐富的數據集比如說10GB，他們會希望會將成本降低到7美元。否則，大數據有什麼意義？
因此，對於數據科學和機器學習實踐者來說，對於用於常見的統計和機器學習算法的優化框架的理論基礎有一個健全的知識是至關重要的
- 如何有效地使用數據
- 如何估算處理大數據集的計算量，
- 如何避免局部最小值並從複雜的多維空間中尋找一個好的解決方案。
在過去關於數據科學基本數學背景的文章中，我曾經討論了優化的作用和一些在線課程（具體在文末鏈接）。
優化的基本要素
任何優化問題都有三個基本要素 –
- 變量：算法可以調整的自由參數
- 約束：參數（或參數的某些組合）必須落在這個範圍內
- 目標函數：這是算法驅動解決方案的目標集合。對於機器學習，通常這相當於最小化一些錯誤度量或最大化某些效用函數。
在這裏重點介紹一些基本的，廣泛使用的統計模型和ML算法，並展示其核心的優化框架。
簡單線性迴歸
從兩個角度來看，對於迴歸的區別：
正則線性迴歸（REGULARIZED LINEAR REGRESSION）
LOGISTIC迴歸
支持向量機（SVM）
時間序列分析 – 指數平滑
時間序列分析 – ARIMA
K均值聚類
深度學習/神經網絡
大多數神經網絡通過反向傳播技術優化神經元之間連接的權重。採用先進的優化方法可以確保找到具有高收斂的良好解決方案。
強化學習（RL）
RL是任何現代AI系統或智能體的核心。
推薦：https://medium.com/@curiousily/solving-an-mdp-with-q-learning-from-scratch-deep-reinforcement-learning-for-hackers-part-1-45d1d360c120
利用機器學習進行優化
有一些優化問題以機器學習爲前端，創建一個模型或者目標函數，與其他方法相比，這種模型或目標函數的評估和計算速度要快得多。當然，這與本文的主要討論的東西不同。但它仍然顯示了通常優化和機器學習之間存在着複雜的相互作用。
作爲說明，優化框架中的更新公式（例如，梯度下降）可以使用神經網絡來代替複雜的函數。
這種方法的一個應用是通過優化循環中的機器學習映射函數替換耗時的仿真模型，其中數千個輸入變量被饋送到模擬模型中，我們希望以某種方式找到最優的參數集以獲得最佳的模擬輸出。這個想法如下所示：
其他方法
在本文中，我們討論了優化一般在現代商業和工程企業中起到什麼作用，以及爲什麼瞭解它對數據科學至關重要。
我們展示了基本優化模型，它是一些廣泛流行的統計技術和機器學習算法的核心。
通過一些簡單的搜索，你會發現類似的優化框架是其他流行的ML方法的核心，例如：
- 期望最大化
- 深度學習或神經網絡
- 遺傳算法
- 模擬退火
https://towardsdatascience.com/essential-math-for-data-science-why-and-how-e88271367fbd