原创 GPU編程

查看服務器上gpu使用情況(shell)  watch -n 1 nvidia-smi 查看當前環境是否有gpu(python) torch.cuda.is_available() 指定使用某一塊gpu(單GPU) os.environ[

原创 pytorch(一)——利用anaconda配置pytorch+tensorflow+pycharm的環境

一、版本說明 爲了兼容pytorch及tensorflow,安裝的是python3.5。 二、anaconda的基本使用 以下指令在Anaconda Prompt中運行 conda env list 查看已創建的環境 activate p

原创 20180325NN&DL(抑制過擬合)

1.神經元飽和    如果輸出神經元是低激活或者高激活(激活在接近0或者1時),那麼最後一層中的權重將學習得很慢,這種情況就是輸出神經元飽和了,權重停止學習或者學習得很慢。 有篇文章講的是不同的激活函數的飽和問題:https://blog

原创 數據集的拆分

零、概念 分層採樣:保留類別比例的採樣   一、留出法    拆成兩個互斥的集合,一個訓練集S,一個測試集T 缺點:T小時評估結果不夠穩定準確;S小時,訓練時的數據S與S+D差別較大,訓練出來的模型與用S+D訓練出來的模型差別較大,降低了

原创 pandas庫的使用——用於數據清洗、表格文件存取

簡介 pandas是基於numpy的庫,一維數據用Series,二維數據用DataFrame,以下所有例子都基於 #基本操作 一維初始化及按行索引 a=Series([1,2,3])#默認索引從0開始 b=Series([1,2,3],

原创 linux(四)——文本處理器vim

 插入命令 定位命令   替換和取消命令 刪除命令    常用快捷鍵

原创 GAN、CGAN、DCGAN

GAN:   值函數(評價函數,非損失函數):   x表示真實圖片,z表示輸入噪聲,x~Pdata(x)與x~Pz(z)表示滿足各自的分佈律。理想狀態下,D(G(Z))=0.5 更新方式: 交替訓練G(Generator)和D(Disc

原创 爬蟲(二)——使用多線程的方式爬取CSDN博客的總訪問量

一.背景描述     在訪問量上1w+後就看不到具體的訪問數了,爲了獲得總訪問數可以將各篇博客的訪問數加起來,爲了實現這個步驟的自動化,使用了爬蟲的方法,怎麼爬csdn的博客訪問量可以參考以下博客,在此不贅述。     https://b

原创 數據可視化——基於matplotlib庫

以下示例都基於進行了import操作 import matplotlib.pyplot as plt   常用函數 plt.plot(x,y,, color='green', marker='o', linestyle='dashed'

原创 tensorflow(七)——RNN、LSTM

一、基礎知識 RNN:存儲了隱藏層的輸出作爲下一次的輸入,網絡具有時序信息 雙向RNN:正向反向傳遞上一層的記憶,組合形成輸出 從RNN到LSTM:RNN存在梯度消失,梯度爆炸的現象,所以對記憶體的存儲更新做了修改,原來RNN是無限制

原创 tensorflow(五)——VGG16網絡

零、CNN常用命令 卷積 tf.nn.conv2d(input[batch,h,w,c],filter[h,w,c,out],strides=[1,h,w,1],padding='SAME'/'VALID',use_cudnn_on_

原创 tensorflow(六)——基於VGG19網絡的特徵可視化、圖像識別

一、相關下載資料 vgg的mat文件(存儲了訓練得到的值):http://www.vlfeat.org/matconvnet/models/beta16/imagenet-vgg-verydeep-19.mat imagenet_clas

原创 爬蟲(一)基礎

瀏覽器到網站服務器響應 爬蟲就是用代碼替代裏瀏覽器,並對返回的信息進行解析 僞裝UA UA(User-Agent)在信息頭中用於對請求的身份進行識別,某些網站爲防止崩潰,會對機器人進行限制。比如發現是個python請求就直接拒絕了。 s

原创 評價指標——精確度,召回率,真陽率,假陽率,P-R曲線,ROC曲線,AUC

1.定義 精確度(precision)/查準率:TP/(TP+FP)=TP/P    預測爲真中,實際爲正樣本的概率 召回率(recall)/查全率:TP/(TP+FN)  正樣本中,被識別爲真的概率 假陽率(False positive

原创 linux系統——tmux中使用jupyter實現便捷看圖及編輯

1)tmux a -t yourtmuxname 起一個終端複用的session 2)安裝jupyter:pip install jupyter 3)命令行運行jupyter notebook 4)瀏覽器登錄給的地址   參考網址: tm