原创 一文讀懂誤差的偏差方差

目錄          偏差和方差的直觀理解          誤差分解 偏差和方差的平衡 爲什麼模型越複雜,方差越高呢? 通過外在表現判斷模型欠擬合還是過擬合 偏差和方差的直觀理解:         偏差:描述的是預測值的期望與真實值之

原创 Bagging思想的前世今生

目錄 隨機森林的產生 Bagging思想詳解 爲什麼Bagging可以降低方差 scikit-learn中bagging oob_score 基學習期數目 隨機森林的產生 決策樹容易過擬合,偏差低,方差高 --> 可以降低方差的方式

原创 pyltp的使用指南

  LTP語義依賴關係說明 中文語法分析是目前的自然語言處理的主要任務之一,語義依賴分析是目前實施中文語法分析的主要理論技術,開源的工具則主要有stanford parser和哈工大的語音雲LTP。 1. 簡介 LTP(語言技術平臺)是哈

原创 主題模型LDA快速入門

目錄 直觀解釋: 什麼是lda? 什麼是貝葉斯模型? 標準 LDA生成過程 公式 Gamma函數: 二項分佈 多項分佈 貝葉斯派的思考方式 幾個主題模型-循序漸進 Unigram model Mixture of unigrams mod

原创 Numpy.random模塊中shuffle與permutation的區別

函數shuffle與permutation都是對原來的數組進行重新洗牌(即隨機打亂原來的元素順序) 區別: shuffle直接在原來的數組上進行操作,改變原來數組的順序,無返回值。 permutation不直接在原來的數組上進行操作,而是

原创 Jupyter Notebook錯誤:module 'dateutil.tz' has no attribute 'UTC'

問題描述:打開jupyter後,按路徑打開文件,選擇固定的kernel後,發現終端報如下錯誤 Jupyter Notebook報錯:module 'dateutil.tz' has no attribute 'UTC' 解決: 我使用的k

原创 @staticmethod與@classmethod的作用與區別

1.一般來說,要使用某個類的方法,需要先實例化一個對象再調用方法。 而使用@staticmethod或@classmethod,就可以不需要實例化,直接類名.方法名()來調用。 這有利於組織代碼,把某些應該屬於某個類的函數給放到那個類裏去

原创 【機器學習】K近鄰法算法(KNN)的簡單理解

K近鄰法(k-NearestNeighbor)是一種很基本的機器學習方法,能做分類和迴歸任務 1.1 KNN直觀解釋 任務:預測最後一部影片的電影類型 第一步:將訓練集中的所有樣例畫入座標系,也將待測樣例畫入 第二步:計算待測分類

原创 【機器學習】模型評估那點事兒

​​​1.1評估方法——如何切分數據: ​​​1.1評估方法——如何切分數據: 留出法(hold-out): 一部分爲訓練集,一部分爲測試集。 應儘量保證數據分佈的一致性。 交叉驗證法(k-fold cross validation)

原创 【特徵工程】使用指南

目錄 1.1 異常值檢測   1.Info() 2.describe() 3.value_count() 1.2 特徵縮放 1.2.1爲什麼要進行特徵縮放 1.3 特徵歸一化VS 特徵標準化 1.3.1 特徵擴展  ​​​​1.4 離散特

原创 學習筆記(01):人工智能工程師(第21期)推薦系統方向-項目第一週

立即學習:https://edu.csdn.net/course/play/27684/398237?utm_source=blogtoedu1.可以對工作日和週末情況進行查看 2.可以對device_conn_type 4個和devic

原创 Mac關於報錯Solving environment: failed with repodata from current_repodata.json

最近創建虛擬環境的時候conda create -n py37 python==3.7,怎麼都不成功,報錯如下: Solving environment: failed with repodata from current_repodat

原创 python2升級python3:celery任務不執行

最近公司做python升級,celery任務始終不執行,也不輸出日誌。 想了很多方式,最後鎖定celery的配置項,果然按以下方式修改後就開始執行任務了。 在celery4.0以後配置參數改成了小寫,對於4.0以後的版本替代參數: 4.

原创 fastText參數的含義

以fastText中的無監督訓練函數爲例,詳細介紹各個參數的含義: from fastText import train_unsupervised model = train_unsupervised(input, model='ski

原创 @staticmethod和@classmethod的作用與區別

1.一般來說,要使用某個類的方法,需要先實例化一個對象再調用方法。 而使用@staticmethod或@classmethod,就可以不需要實例化,直接類名.方法名()來調用。 這有利於組織代碼,把某些應該屬於某個類的函數給放到那個類裏去