原创 windows系統下pycharm遠程訪問linux系統下jupyter notebook，並調用spark平臺（五）pycharm調用juypter notebook
一，anaconda安裝 本例使用的是Anaconda3-5.3.1-Linux-x86_64.sh，放在/opt文件夾下 首先，安裝anaconda 一直點回車，直到有詢問，輸入yes 查詢anaconda版本 至此anacond
2020-06-08 09:33:01
原创 機器學習-決策樹建立（一）
優點：計算複雜度不高，輸出結果易於理解，對中間再缺失不敏感，可以處理不相關特性。 缺點：可能產生過渡匹配問題 使用類型：數字型和標稱型 一，基本概念 1，信息熵 度量樣本集合純度的最常用指標之一。值越小，則純度越高。 公式爲： 其中，P
2020-02-22 13:16:38
原创 企業微信-拉取企業微信聊天記錄
完整代碼下載地址：https://download.csdn.net/download/lyn5284767/11485236 一，前提 1，企業微信開通了會話內容存檔 2，程序運行環境windows平臺，VS2017，c++ 3，你是
2019-08-07 23:43:05
17
原创 VUE經典開源項目
UI組件 element ★9305 – 餓了麼出品的Vue2的web UI工具套件 Vux ★6802 – 基於Vue和WeUI的組件庫 mint-ui ★4776 – Vue 2的移動UI元素 iview ★4458 – 基於 Vue
2019-04-26 07:51:18
原创 sklearn基礎（一）文本特徵提取函數CountVectorizer()和TfidfVectorizer()
CountVectorizer()函數 CountVectorizer()函數只考慮每個單詞出現的頻率；然後構成一個特徵矩陣，每一行表示一個訓練文本的詞頻統計結果。其思想是，先根據所有訓練文本，不考慮其出現順序，只將訓練文本中每個出現過的
2018-12-28 23:27:33
1
原创 windows系統下pycharm遠程訪問linux系統下jupyter notebook，並調用spark平臺（四）spark平臺搭建
三臺linux系統機器，分別爲192.168.88.177 主機名master，192.168.88.178 主機名slave2,192.168.88.179 主機名slave3 一，Sacla安裝 本例下載的是scala2.12.8，將
2018-12-23 21:19:58
原创 windows系統下pycharm遠程訪問linux系統下jupyter notebook，並調用spark平臺（三）-hadoop平臺搭建
一，安裝jdk 創建目錄 輸入：mkdir /usr/lib/jvm 拷貝下載好的jdk放入 解壓 修改環境變量 在文件最後加入： export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171 export
2018-12-23 21:19:58
原创 windows系統下pycharm遠程訪問linux系統下jupyter notebook，並調用spark平臺（二）-linux系統免密碼登錄
一，openssl安裝 查看openssl版本 輸入：openssl version 有結果，則已經安裝了openssl，如無結果則需要安裝。 下載openssl http://www.openssl.org/source/openss
2018-12-23 21:19:58
原创 windows系統下pycharm遠程訪問linux系統下jupyter notebook，並調用spark平臺（一）-VMware Workstation設置
一，虛擬機信息 準備了3臺虛擬機，1臺作master，2臺作slave。 系統：centos 7。 二，虛擬機網絡設置 3臺虛擬機都需要進行設置 1，修改VMware網絡模式爲橋接模式： 2，設置靜態IP和網絡 輸入： cd /etc
2018-12-23 21:19:58
5
原创 機器學習-集成學習(Boosting算法-提升樹)
一，介紹 提升樹主要用於迴歸問題，但是，也可疑根據設定閾值來進行分類。 算法流程如下： 輸入：訓練數據集 輸出：提升樹 算法流程： （1）初始化 （2）對m = 1,2,…，M 計算殘差 擬合殘差學習一個迴歸樹，得到 更新 （3）得到
2018-09-30 06:04:51
4
原创 機器學習-集成學習(Boosting算法-梯度提升樹（GBDT）)
一，算法介紹 算法流程轉自（李航（統計學方法））： 二，實例 下面我們舉一個實例： 如下表所示：一組數據，特徵爲年齡、體重，身高爲標籤值。共有5條數據，前四條爲訓練樣本，最後一條爲要預測的樣本。 我們假定使用的損失函數爲均方差損失函數
2018-09-30 06:04:51
3
原创 Mongodb數據庫搭建
1，下載MongoDB（64位） wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz 2，安裝MongoDB（安裝到/sparklearning） tar
2018-09-30 06:04:51
3
原创 Spark集羣搭建
（1）JDK 1.8 安裝 在根目錄下創建sparkLearning目前，後續所有相關軟件都放置在該目錄下，代碼如下： [root@slave01 /]# mkdir /sparkLearning [root@slave01 /]# l
2018-09-26 05:46:37
2
原创 hadoop搭建常見錯誤
一，集羣電腦，ssh生成密匙，必須也放到本機，不然執行hadoop-daemons.sh start journalnode會報錯，Prmission denied 二，格式化HDFS（集羣機器都需要執行） 三，journalnode啓動
2018-09-26 05:46:37
1