3.31--Task4:建模與調參

Datawhale 零基礎入門數據挖掘-Task4 建模調參

四、建模與調參

Tip:此部分爲零基礎入門數據挖掘的 Task4 建模調參 部分，帶你來了解各種模型以及模型的評價和調參策略，歡迎大家後續多多交流。

賽題：零基礎入門數據挖掘 - 二手車交易價格預測

地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX

4.1 學習目標

• 瞭解常用的機器學習模型，並掌握機器學習模型的建模與調參流程
• 完成相應學習打卡任務

4.2 內容介紹

1. 線性迴歸模型：
   • 線性迴歸對於特徵的要求；
   • 處理長尾分佈；
   • 理解線性迴歸模型；
2. 模型性能驗證：
   • 評價函數與目標函數；
   • 交叉驗證方法；
   • 留一驗證方法；
   • 針對時間序列問題的驗證；
   • 繪製學習率曲線；
   • 繪製驗證曲線；
3. 嵌入式特徵選擇：
   • Lasso迴歸；
   • Ridge迴歸；
   • 決策樹；
4. 模型對比：
   • 常用線性模型；
   • 常用非線性模型；
5. 模型調參：
   • 貪心調參方法；
   • 網格調參方法；
   • 貝葉斯調參方法；

4.3 相關原理介紹與推薦

由於相關算法原理篇幅較長，本文推薦了一些博客與教材供初學者們進行學習。

4.3.1 線性迴歸模型

https://zhuanlan.zhihu.com/p/49480391

4.3.2 決策樹模型

https://zhuanlan.zhihu.com/p/65304798

4.3.3 GBDT模型

https://zhuanlan.zhihu.com/p/45145899

4.3.4 XGBoost模型

https://zhuanlan.zhihu.com/p/86816771

4.3.5 LightGBM模型

https://zhuanlan.zhihu.com/p/89360721

4.3.6 推薦教材：

• 《機器學習》 https://book.douban.com/subject/26708119/
• 《統計學習方法》 https://book.douban.com/subject/10590856/
• 《Python大戰機器學習》 https://book.douban.com/subject/26987890/
• 《面向機器學習的特徵工程》 https://book.douban.com/subject/26826639/
• 《數據科學家訪談錄》 https://book.douban.com/subject/30129410/