GDMix 是什麼？
考慮一個工作推薦任務，假設有兩個 LinkedIn 成員 Alice 和 Annie，她們的信息非常相似。她們兩個都有相同的用戶特徵，響應的是同一對公司。但她們的反應完全相反。如果我們使用這兩個成員的數據來訓練一個機器學習模型，那麼模型將不會有效，因爲訓練樣本相互矛盾。解決方案之一是根據成員的數據爲每個成員訓練一個單一的模型。這就是個性化的一個例子。
個性化的一種可能實現是將所有成員 ID 嵌入到一個模型中。這通常會導致一個非常大的模型，因爲成員數量可能會達到數億量級。GDMix（GeneralizedDeepMixed Model，通用深度混合模型）是 LinkedIn 爲高效訓練這類模型而創建的解決方案。它將一個大模型分解爲全局模型（又稱“固定效應模型”）和大量小模型（又稱“隨機效應模型”），然後分別求解。這種分而治之的方法，允許使用標準硬件對大型個性化模型進行有效的訓練。GDMix 是其前身 Photon ML 的改進，它擴展並支持深度學習模型。要了解更多背景信息，請查看我們的工程博客。
支持的模型
當前版本的 GDMix 支持固定效應的邏輯迴歸模型和 DeText 模型，然後是隨機效應的邏輯迴歸模型。在未來，如果增加的複雜性可以通過改進行度量來證明的話，我們可能會支持隨機效應的深度模型。
原文鏈接:【https://www.infoq.cn/article/SBbuxz4ygsfYg9fKd56R】。未經作者許可，禁止轉載。