摘要：近年來，基於數據驅動的機器學習模型開始提供可替代的方法，並在許多任務中優於純物理學驅動模型。
本文分享自華爲雲社區《如何將知識引入機器學習模型提升泛化能力？》，作者：PG13 。
基於物理學的模型是當今技術和科學的核心。近年來，基於數據驅動的機器學習模型開始提供可替代的方法，並在許多任務中優於純物理學驅動模型。但是，基於數據驅動的模型訓練需要大量的數據，而且它們的決策推理可能難以解釋，而且泛化性能仍然是一個挑戰。而同時結合數據和物理學則可以兩全其美，當機器學習算法在學習時，它們實際上是在你選擇的算法、架構和配置所定義的假設空間中去尋找解。即使對於簡單的算法，假設空間也可能相當大，而數據是我們在這個巨大空間中尋找解決方案的唯一指南。而如果我們可以使用我們對世界的知識（例如物理學）和數據一起來指導解空間的搜索，結果會怎樣呢？
如何用物理學指導機器學習算法
如何利用物理學來指導機器學習模型，總結一下主要有兩種方法：（1）使用物理學理論計算額外特徵（特徵工程），與測量值一起輸入模型進行訓練；（2）在損失函數中添加物理不一致懲罰項以懲罰與物理學不一致的預測。
第一種方法，也就是特徵工程，在機器學習領域中廣泛使用。而第二種方法很像添加一個正則化項來懲罰過擬合現象，它們在損失函數中添加了一個物理不一致懲罰項。因此，在進行參數優化時，優化算法還需最小化物理上不一致的結果。
在論文[1]中，Karpatne 等人將這兩種方法與神經網絡相結合，並展示了一種他們稱之爲物理引導神經網絡 (PGNN) 的算法。PGNN 可以提供兩個主要優勢：
- 實現泛化是機器學習中一個基本挑戰。由於大多物理模型不依賴於數據，因此它們在可能在未見過的數據上也能有良好的表現，即使這些數據來自於不同的分佈。
- 機器學習模型有時也被稱爲黑盒模型，因爲它並不總是清楚模型如何進行特定的決策。可解釋AI（XAI）有很多的工作要做以提高模型的可解釋性。而PGNN可以爲XAI提供基礎，因爲他們能夠呈現出物理上一致且可解釋的結果。
應用示例：湖泊溫度建模
在論文[1]中，以湖泊溫度建模爲例來證明了 PGNN 的有效性。衆所周知，水溫控制着生活在湖中的生物物種的生長、生存和繁殖。因此，準確的溫度觀測和預測對於瞭解社區中發生的變化至關重要。論文的任務是開發一個模型，可以根據給定的深度和時間來預測湖泊的水溫。
現在，讓我們看看他們是如何應用 (1) 特徵工程和 (2) 損失函數修改來解決這個問題的。對於特徵工程，他們提出了一種稱爲GLM的模型來生成新特徵並將其輸入神經網絡。它是一個基於物理學的模型，它能捕捉控制湖泊溫度動態的過程（由於太陽、蒸發等引起的加熱）。那麼如何定義這個物理不一致項呢？衆所周知，密度大的水會下沉至更深處，而水的溫度與其密度之間的物理學關係也是已知的。因此，我們的模型在預測時應該遵循這樣一個事實，即點越深，預測密度越高。如果對於兩個點，模型預測出來更靠近湖面的點的密度更高，這就是在物理上不一致的預測。
經過以上的分析，現在可以將這個想法合併到我們的損失函數中。如果 ρA> ρB，也就是預測不符合物理一致性，我們需要進行懲罰，否則不進行懲罰。這可以通過將函數max( ρA- ρB, 0)的值添加到損失函數中來輕鬆實現。如果 ρA> ρB（即物理不一致），該函數將給出一個正值，這將增大損失函數的值，否則爲零，保持損失函數不變。
此時，我們還需要對該函數進行兩點修改：(1) 我們需要考慮所有點對的物理不一致情況，而不僅僅只是某一對。因此，可以對所有點對的max( ρA- ρB, 0)值求平均。(2) 此外，最小化物理不一致懲罰項的權重也很關鍵。這可以通過將平均物理不一致項乘以超參數（與正則化參數類似）來完成。如下公式所示：
對4個模型的結果進行了比較，分別是：
- PHY:通用湖泊模型（GLM）
- NN：神經網絡
- PGNN0：具有特徵工程的神經網絡，GLM模型的結果作爲額外特徵輸入神經網絡。
- PGNN：具有特徵工程和修正損失函數的神經網絡。
以及兩個評估指標：
RMSE：均方根誤差
物理不一致分數：模型的預測不符合物理一致性結果的佔比。
將 NN 與 PHY 進行比較，我們可以得出結論，NN 以損失物理不一致的結果爲代價提供了更準確的預測。而比較 PGNN0 和 PGNN，我們可以看到通過修改了損失函數消除了物理不一致性。而預測準確性的提高主要是由於特徵工程以及損失函數的一些貢獻。
總而言之，這些初步結果向我們表明， PGNN 非常有希望提供較準確且物理一致的結果。此外，我們通過將物理學的知識進行轉換引入損失函數，提升了機器學習模型的泛化性能。這個看似簡單的想法有可能從根本上改善我們進行機器學習和科學研究的方式。
參考文獻
[1] Physics-guided Neural Networks(PGNN): An Application in Lake Temperature Modeling.
[2] Theory-guided Data Science: A New Paradigm for Scientific Discovery from Data.