原创 Julia 機器學習 --- k-折交叉驗證

目錄 k-折交叉驗證(k-fold crossValidation) 主要目的: Julia 中代碼實現 KFold StratifiedKFold LOOCV(留一交叉驗證) 交叉驗證的函數 k-折交叉驗證(k-fold crossVa

原创 Julia 機器學習 ---- 單變量線性迴歸 和 多元線性迴歸 (Linear regression)

目錄 1、線性迴歸概述 2、數據準備 3、數據探索 3.1簡單的數據清洗 3.2 圖形分析數據 3.2.1 盒形圖的離羣點分析,需要根據四分位距去掉部分數據點。 3.2.2 密度圖進行分佈分析 3.2.3 散點圖相關分析 4、數據預處理

原创 Julia 機器學習 ---- 訓練集和測試集的拆分函數

如果只有一個數據集,在機器學習的過程中,一般會將原始數據集分割爲訓練數據集和測試數據集,訓練集 用於訓練模型的子集。測試集 - 用於測試訓練後模型的子集。但要確保測試集滿足以下兩個條件: 規模足夠大,可產生具有統計意義的結果。 能代表整個

原创 Julia機器學習---- 聚類分析 代碼示例

 Clustering.jl  是Julia中一個很基礎的 用於聚類數據分析的代碼庫,文檔裏缺少一些代碼示例,這裏簡單整理了一下。   K-means K-均值是一種經典的聚類或矢量量化方法。它產生固定數量的簇,每個簇都與一箇中心(也稱爲

原创 Docker 一鍵部署Redis Cluster 集羣

適用centos操作系統 1、安裝docker 和 docker-compose 參考 官方文檔:https://docs.docker.com/compose/install/ 2、準備docker-compose.yml 創建工作目錄

原创 Julia --- 將JSON轉換成DataFrames

思路比較簡單,基本就是把list中的每個節點轉成DataFrames,然後再通過reduce函數合併成一個DataFrames   using JSON using DataFrames json_str = """ [{ "col

原创 讓代碼飛起來——高性能Julia學習筆記

最近有個項目是計算密集型的, 最開始用 TS 快速實現了算法原型, 後來改用 Go 重寫, Go 的 goroutine 用起來還是蠻爽的, 很容易把所有 cpu core 跑滿。 不過隨着代碼逐漸複雜, 感覺用 Go 還是沒有動態語言寫

原创 docker 部署 MYSQL8 (可用於生產環境)

目錄 1、拉取鏡像; 2、創建掛載的目錄: 3、運行鏡像實例: 4、錯誤排查 5、設置登錄權限 6、 需要注意的幾個地方: 1、拉取鏡像; docker pull mysql #拉取的是最新的官方mysql docker 鏡像,也可以制

原创 Julia ---- 一種高效掃描Array中數據的方式

很多時候需要逐個掃描Array中數據,並根據計算規則計算數據。 這裏以對比數據爲例給出兩種計算方式: 1  使用內置函數all 過濾array test_1(x) = all(y->y==x[1],x) 2 這裏有一個 自定義 函數,

原创 優先使用服務層而不是使用數據庫做耗時計算(一)

爲什麼 一方面是數據庫服務器的計算能力是有限的,另一個很重要的方面是一般數據庫的分區容錯性要比微服務要差很多。微服務可以很容易的水平擴展。但是數據庫水平擴展一般都比較麻煩,且容易出問題,尤其是SQL類的數據庫。下面對數據庫做一個簡單的分析

原创 Julia ---- Pkg 如何加速安裝工具包

目前的加速方式有兩種: 第一種方式 參考博客 :https://blog.csdn.net/ouening/article/details/100187862,需要安裝privoxy代理,這種方式適用所有版本的JuliaPro,速度確實也

原创 Julia 機器學習 ---- 線性迴歸(Linear regression)用於各國人民的預期壽命

線性迴歸是一種基本的機器學習算法,用於基於一個或多個自變量預測數字因變量,而因變量(Y)應該是連續的。這裏將描述如何在Julia中構建線性迴歸,構建模型後如何診斷。 1、線性迴歸概述 線性迴歸是一種最基本的機器學習算法,用於基於一個或多個

原创 Tengine ---- Dubbo API網關K8S 環境部署與使用

1 概述 Tengine是由淘寶網發起的Web服務器項目。它在Nginx的基礎上,針對大訪問量網站的需求,添加了很多高級功能和特性。Tengine的性能和穩定性已經在大型的網站如淘寶網,天貓商城等得到了很好的檢驗。它的最終目標是打造一個高

原创 Julia ---- Debugger 代碼調試方式

Julia debug相對比較麻煩,但還是有一些比較好用的工具 ,這裏簡單介紹兩種方式 1、JuliaPro 中debug插件     IDE中的debug工具,比較簡單直接在REPL中使用 Juno.@enter 命令執行函數。看起來還

原创 Julia 機器學習 ---- 特徵降維(特徵提取)

1、爲什麼要降維 以下是在數據集中應用降維的用處: (1)隨着數據維度不斷降低,數據存儲所需的空間也會隨之減少。 (2)低維數據有助於減少計算/訓練用時。 (3)一些算法在高維度數據上容易表現不佳,降維可提高算法可用性。 (4)降維可以用