原创 一文讀懂誤差的偏差方差
目錄 偏差和方差的直觀理解 誤差分解 偏差和方差的平衡 爲什麼模型越複雜,方差越高呢? 通過外在表現判斷模型欠擬合還是過擬合 偏差和方差的直觀理解: 偏差:描述的是預測值的期望與真實值之
原创 Bagging思想的前世今生
目錄 隨機森林的產生 Bagging思想詳解 爲什麼Bagging可以降低方差 scikit-learn中bagging oob_score 基學習期數目 隨機森林的產生 決策樹容易過擬合,偏差低,方差高 --> 可以降低方差的方式
原创 pyltp的使用指南
LTP語義依賴關係說明 中文語法分析是目前的自然語言處理的主要任務之一,語義依賴分析是目前實施中文語法分析的主要理論技術,開源的工具則主要有stanford parser和哈工大的語音雲LTP。 1. 簡介 LTP(語言技術平臺)是哈
原创 主題模型LDA快速入門
目錄 直觀解釋: 什麼是lda? 什麼是貝葉斯模型? 標準 LDA生成過程 公式 Gamma函數: 二項分佈 多項分佈 貝葉斯派的思考方式 幾個主題模型-循序漸進 Unigram model Mixture of unigrams mod
原创 Numpy.random模塊中shuffle與permutation的區別
函數shuffle與permutation都是對原來的數組進行重新洗牌(即隨機打亂原來的元素順序) 區別: shuffle直接在原來的數組上進行操作,改變原來數組的順序,無返回值。 permutation不直接在原來的數組上進行操作,而是
原创 Jupyter Notebook錯誤:module 'dateutil.tz' has no attribute 'UTC'
問題描述:打開jupyter後,按路徑打開文件,選擇固定的kernel後,發現終端報如下錯誤 Jupyter Notebook報錯:module 'dateutil.tz' has no attribute 'UTC' 解決: 我使用的k
原创 @staticmethod與@classmethod的作用與區別
1.一般來說,要使用某個類的方法,需要先實例化一個對象再調用方法。 而使用@staticmethod或@classmethod,就可以不需要實例化,直接類名.方法名()來調用。 這有利於組織代碼,把某些應該屬於某個類的函數給放到那個類裏去
原创 【機器學習】K近鄰法算法(KNN)的簡單理解
K近鄰法(k-NearestNeighbor)是一種很基本的機器學習方法,能做分類和迴歸任務 1.1 KNN直觀解釋 任務:預測最後一部影片的電影類型 第一步:將訓練集中的所有樣例畫入座標系,也將待測樣例畫入 第二步:計算待測分類
原创 【機器學習】模型評估那點事兒
1.1評估方法——如何切分數據: 1.1評估方法——如何切分數據: 留出法(hold-out): 一部分爲訓練集,一部分爲測試集。 應儘量保證數據分佈的一致性。 交叉驗證法(k-fold cross validation)
原创 【特徵工程】使用指南
目錄 1.1 異常值檢測 1.Info() 2.describe() 3.value_count() 1.2 特徵縮放 1.2.1爲什麼要進行特徵縮放 1.3 特徵歸一化VS 特徵標準化 1.3.1 特徵擴展 1.4 離散特
原创 學習筆記(01):人工智能工程師(第21期)推薦系統方向-項目第一週
立即學習:https://edu.csdn.net/course/play/27684/398237?utm_source=blogtoedu1.可以對工作日和週末情況進行查看 2.可以對device_conn_type 4個和devic
原创 Mac關於報錯Solving environment: failed with repodata from current_repodata.json
最近創建虛擬環境的時候conda create -n py37 python==3.7,怎麼都不成功,報錯如下: Solving environment: failed with repodata from current_repodat
原创 python2升級python3:celery任務不執行
最近公司做python升級,celery任務始終不執行,也不輸出日誌。 想了很多方式,最後鎖定celery的配置項,果然按以下方式修改後就開始執行任務了。 在celery4.0以後配置參數改成了小寫,對於4.0以後的版本替代參數: 4.
原创 fastText參數的含義
以fastText中的無監督訓練函數爲例,詳細介紹各個參數的含義: from fastText import train_unsupervised model = train_unsupervised(input, model='ski
原创 @staticmethod和@classmethod的作用與區別
1.一般來說,要使用某個類的方法,需要先實例化一個對象再調用方法。 而使用@staticmethod或@classmethod,就可以不需要實例化,直接類名.方法名()來調用。 這有利於組織代碼,把某些應該屬於某個類的函數給放到那個類裏去