原创 從GB到GBDT到XGBoost
Boosting boosting一句話理解：三個臭皮匠，頂個諸葛亮。 在計算機學習理論裏，強可學習和弱可學習是等價的。 弱可學習模型轉化爲強可學習模型方法：前向分佈加法模型。 最簡單前向分佈加法模型 yk+1 = yk + (
2020-06-28 10:50:18
原创 D3js（六）：支持css的tooltips
文章目錄實現如下效果，不是簡單的文本，而是有樣式的文本1、配置一個tooltips的div塊：2、配置tooltips div塊的css：3、配置節點上的事件處理： 實現如下效果，不是簡單的文本，而是有樣式的文本 1、配置一個t
2020-06-28 10:50:18
原创 idea破解，Maven配置web步驟
文章目錄idea破解下載補丁修改文件路徑，修改兩個文件激活：help-register-activatevaven搭建最簡單webfile->new->project->maven->mave_archetype_webapp選擇
2020-06-08 05:04:56
原创 哈夫曼編碼的非樹節點形式實現
哈夫曼編碼的非樹節點形式實現楔子思考過程於是想自己寫一個headq構建二叉樹實在太久了，完全不讓看文檔，不敢不相信在有限的時間裏可以調試成功，於是就想了使用非樹的實現方式，就是把手動畫的二叉樹，從樹葉往上補充哈夫曼編碼總結 楔子
2020-04-18 21:11:40
1
原创 pandas讀取大文件csv容易出現的錯誤
文章目錄1. 不是utf-8格式，先讀取一遍爲utf-8，忽略掉錯誤:2. 出現null bytes錯誤，使用engine='c':3. 讀取成功之後，保存爲utf-8格式： 1. 不是utf-8格式，先讀取一遍爲utf-8，忽略
2019-08-06 17:31:44
9
原创 spark搭建和使用,處理massive文件
文章目錄1. 本地安裝spark1.1 安裝Anaconda1.2 安裝JDK 1.81.3 安裝spark1.3.1 安裝spark for hadoop版本1.3.2 添加環境變量1.4 安裝hadoop1.4.1 下載had
2019-08-02 17:25:21
原创 50-100G大文件的處理辦法
文章目錄1. 使用分佈式框架處理，如上次介紹的spark2. 使用pandas chunk, 不比單機版的spark慢3. 使用dask pandas , 分佈式的pandas 1. 使用分佈式框架處理，如上次介紹的spark 這
2019-08-02 17:25:21
9
原创 Mongodb實現多表join
文章目錄Mongodb實現多表join1、通過遍歷其他表，插入到當前表2、優化方式2.1、mongodb的lookup, 也就是聚合功能2.2、mapreduce 分佈式join多表 Mongodb實現多表join 千萬數量級的t
2019-07-30 18:02:28
14
原创 Docker User Guide
文章目錄Docker User Guide:1. 簡單啓用docker2. 交互式啓用docker3. 容器常用命令4. 以後臺進程模式運行5. docker的命令格式：docker + flags + command + arg
2019-07-02 17:36:14
原创 D3js（五）：tooltips
文章目錄何爲tooltips?實現小貼士的2種方法：增加title標籤，text就是title的內容，默認mouseover，mouseout處理定義tooltips，定義處理mouseover，mouseout完整示例 何爲to
2019-06-30 17:36:15
原创 D3js（一）: d3js和DOM
文章目錄SVGAdding a DOM ElementAdding an SVG ElementBinding Data to DOM ElementsUsing Data Bound to DOM Elements SVG <s
2019-06-28 17:52:38
原创 D3js（四）：箭頭arrow
文章目錄D3js方式html+d3方式 D3js方式 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</tit
2019-06-28 17:52:37
1
原创 D3js（二）: d3js基礎
文章目錄Creating SVG Elements Based on DataUsing the SVG Coordinate Space（座標系）json數組簡化SVG Basic Shapes and D3.jsSVG Pat
2019-06-28 17:52:37
2