原创 深度學習中的網絡設計技術(一) ——理論概述

一、網絡設計 (1) 網路設計要點 網絡設計考慮重點:1. 精度 2.容量 3. 效率 精度:網絡預測樣本的精度(TP / (TP +FP)) 容量:容納數據量的多少,神經元越多,容量越大。 效率:網絡運行的效率,這

原创 python數據結構——鏈表及其實現

一、單向鏈表 (1) 鏈表的定義 鏈表是一種常見的數據結構,是一種線性表,但是不像順序表一樣連續存儲數據,而是再每一個節點(數據存儲單元)裏存放下一個節點的位置信息(即地址)。 """ 鏈表的實現: list = [100,

原创 matplotlib實戰二——利用matplotlib畫激活函數曲線

import torch import torch.nn.functional as f from torch.autograd import Variable import matplotlib.pyplot as plt x

原创 分組卷積和深度可分離卷積

一、分組卷積 (1) ALexNet網絡 分組卷積(Group Convolution),最早見於AlexNet網絡,它被用來切分網絡,使其在2個GPU上並行運行,AlexNet網絡結構如下: AlexNet將網絡分成了兩

原创 python數據結構——棧、隊列、雙端隊列

一、棧 1. 概述 棧是一種容器,它可以存入元素、訪問元素、刪除元素,它的特點在與只能允許在容器的一端(棧頂top)進行加入數據和輸出數據的運算。由於棧數據結構只允許在一端進行操作,因而按照先進後出(LIFO,Last In F

原创 深度學習和機器學習中的數學(二)——概率統計

一、概述 基本概念 2. 事件的運算關係 4. 事件的運算 交換律: A U B = B U A AB = BA 結合律:(A U B) U C = A U (B U C) 分配律: A U (BC) = (A

原创 殘差網絡結構及其實現

一、殘差網絡基本結構 (1) 傳統的深度學習遇到的困難 梯度消失問題:隨着網絡深度的增加,網絡會出現梯度消失/梯度爆炸的情況,阻礙收斂的過程 退化問題:精確率出現飽和的情況是層數的增加引起的,並不是過擬合,表明更深的網絡並未出

原创 C++ 和Python入門openCV

一 圖像讀取 Python 實現: 讀取彩色圖像 import cv2 img = cv2.imread("1.jpg") cv2.imshow("pic_img", img) cv2.waitKey(0) cv2.destr

原创 openCV霍夫變換原理及其實現

一 霍夫變換原理 注意: 進行霍夫變換的前提是首先完成了邊緣檢測任務 1. 霍夫變換概述 霍夫變換是一種特徵檢測(feature extraction),被廣泛應用在圖像分析(image analysis)、計算機視覺(comp

原创 KNN算法之KD樹實現原理

一. KD樹的建立 KD樹算法包括三步,第一步是建樹,第二步是搜索最近鄰,最後一步是預測。 有二維樣本6個,{(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)},構建kd樹的具體步驟爲: 1)找到劃分的特徵

原创 深度學習中的網絡設計技術(二)——正則化技術

一、過擬合、欠擬合 1. 什麼是過擬合?什麼是欠擬合? 過擬合其實就是在訓練樣本內能夠很好的擬合數據,而在訓練樣本外(沒有參與訓練的樣本)擬合效果很差,這樣的現象就是過擬合。如果你在訓練網絡的過程中發現,模型準確率很高,但是在

原创 機器學習——聚類實現

聚類的定義:對大量未知標註的數據集,按數據的內在相似性將數據集劃分爲多個類別,使得類別內的數據相似度較大,類別間的數據相似度較小。- 所以聚類需要解決的問題是: 如何定義相似性 如何選擇類別的數目 一. Kmeans

原创 Visual Studio Code頭文件異常處理

一 VS Code 出現問題描述 解決方案: 在終端輸入命令:gcc -v -E -x c++ - 將上面的路徑添加到VS Code 的c_cpp_properties.json 文件中。 操作過程:按快捷鍵Ctrl + Sh

原创 機器學習——集成學習(一)

一. 集成學習概述 什麼是集成學習? 它本身不是一個單獨的機器學習算法,而是通過構建並結合多個機器學習器來完成學習任務。 一般說的集成學習方法都是指同質個體學習器,而同質個體學習器使用最多的模型是CART決策樹和神經網絡。

原创 機器學習——CART迴歸樹

一. 迴歸樹 注意:CART做分類時代價函數是基尼指數,做迴歸時代價函數時均方差函數 import numpy as np import matplotlib.pyplot as plt from sklearn.tree i