原创 數據版本管理 DVC data version control 和git一起管理你的機器學習實驗數據

數據版本管理的目的 每個模型的在訓練的時候,所使用的訓練數據/測試數據都有可能是變化的,在進行復現實驗結果的時候,除了使用同樣的代碼,config,使用同樣的數據也是非常重要的。 如下圖,如果要人工記錄數據版本以及模型版本,使之匹配是比較

原创 mysql 雙主同步(基於GTID)zabbix自動監控狀態

一、主從介紹 主從複製:主服務器可以讀寫,從服務器可以讀,主服務器寫的時候,從服務器也同步 雙主複製:兩個服務器都是主服務器,都可以讀寫,互相同步,只要有一個寫,另一個就會同步,但必須指定相同主鍵,初始狀態需要相同。 組複製:多個sev

原创 mysql 可視化工具總結

一、HeidiSQL  簡介:官網    github HeidiSQL runs fine on Windows Vista, 7, 8 and 10. Using Wine, it mostly runs fine on Linux

原创 GANs基礎調研報告

目錄 GAN DCGAN WassersteinGAN Conditional GAN 1.1 GAN的原理 核心是:x表示真實圖片,z表示輸入G網絡的噪聲,而G(z)表示G網絡生成的圖片。D(x)表示D網絡判斷真實圖片是否真實的概率

原创 重採樣 上採樣 下采樣

重採樣的原理: 重採樣主要是分爲上採樣和下采樣,在進行採樣的過程中,需要注意採樣的倍率的問題,並不是可以隨意的改變採樣率的大小的,根據採樣定理:在進行模擬/數字信號的轉換過程中,當採樣頻率fs.max大於信號中最高頻率fmax的2倍時(

原创 InfoGAN 網絡訓練過程介紹

一、InfoGAN是什麼 簡單的講,就是一種常見的GAN,是在普通的GAN的基礎上增加Q網絡,可以通過無監督學習的方式學到生成的數據的類別。 二、小故事 小D是一個很喜歡吃餃子的姑娘,喜歡吃不同的餡的餃子,而且對於餃子的要求十分高,尤

原创 動脈硬化檢測分析部分指標說明

1、脈壓:爲高低壓差。 正常一般爲40mmHg,<20脈壓減小,>60脈壓增大。脈壓指的是收縮壓和舒張壓之間的差值,正常範圍是30~50mmHg,在20~30mmHg之間或50~60mmHg之間臨界值,此時如果伴隨心腦血管病危險因素者應當

原创 sklearn.model_selection中的train_test_split使用方法,分割數據集,劃分訓練集和測試集

import numpy as np from sklearn.model_selection import train_test_split X = np.load("./data/111.npy") y = np.load("./

原创 baseline needs more love 簡單網絡vs複雜網絡(1)——baseline

(一)背景說到baseline和art of start,做建模的同學應該都不會陌生吧,最近關於機器學習和深度學習的爭執也是越來越多,其中就不乏會有人認爲,其實深度學習能夠做到的事情,機器學習也可以做到,還可以少花費一些時間來訓練模型,計

原创 OS自動創建和系統時間名字一樣的文件夾

利用OS自動創建和系統時間名字一樣的文件夾 例子: 結果:創建一個文件夾2018_04_16_19_39_50,裏邊有三個文件夾FP/FN/TP #!/usr/bin/python # coding:utf-8 ''' # creat

原创 Tensor must be 4-D with last dim 1, 3, or 4,bug記錄

torch學習入坑(1) 記錄一下第一個坑,防止自己忘記。 在用torchvision.utils.make_grid處理完圖片之後,維度會變爲三維,如果需要使用tf.summary.image ,需要增加batch size 的那一

原创 數據標準化 數據歸一化 數據預處理 data normalization / scale

一、數據歸一化的好處: 數據標準化和歸一化的區別和聯繫: 在進行處理數據的時候,標準化的方法是比較多的,其中數據歸一化是一種常見的數據的標準化,只不過標準化只是將數據進行規範到一個範圍之內,對於數據的歸一化來說,是將數據規範到0到1之間

原创 遷移學習基礎知識 源域 多任務學習 目標域

遷移學習 簡單的將就是舉一反三,是將已經學習到的知識遷移到另一種未知的知識的學習,即從源域遷移到目標域。 小故事 從前有一個商人,在帝都以賣貓的玩偶爲生,他叫CNN,很厲害,是一個分辨高手,擅長區分不同的貓咪,如果有人拿貓咪想要坑他,

原创 InfoGAN 論文閱讀筆記 基本知識總結

最近的一些工作是在使用InfoGAN,查看了一些資料,發現相關的資料並不是很多,所以,寫了這個博客,一方面希望對最近兩個周看到的文獻進行一個歸納總結,另一方面希望遇到在做這方面的工作的大佬們,請教學習,不足之處請指正,謝謝大家~。 一、什

原创 tensorflow r1.5 版本差異調研

一、Breaking Changes 1、預編制的二進制文件是針對CUDA 9 和 cuDNN 7制定的。 2、Linux的二進制文件是使用 ubuntu 16構建的,在使用ubuntu 14引入glibc的時候,可能會出現不兼容的問題。