原创 分佈式系統中的兩階段提交協議

分佈式系統中的兩階段提交協議 在分佈式系統中,每個節點雖然可以知曉自己的操作時成功或者失敗,卻無法知道其他節點的操作的成功或失敗。當一個事務跨越多個節點時,爲了保持事務的ACID特性,需要引入一個作爲協調者的組件來統一掌控所有節點(稱作參

原创 分佈式存儲的三階段提交協議

分佈式存儲的三階段提交協議 三階段提交是爲解決兩階段提交協議的缺點而設計的。與兩階段提交不同的是,三階段提交是“非阻塞”協議。三階段提交在兩階段提交的第一階段與第二階段之間插入了一個準備階段,使得原先在兩階段提交中,參與者在投票之後,由於

原创 容器技術的主要機制

容器技術的主要機制 定義:包含相應應用程序組件的服務實例即爲容器(Container)。 在一個容器中運行的程序無法看到容器外的程序進程,包括那些直接運行在宿主機(host)上的應用和其它容器中的應用。 容器虛擬化是虛擬化操作系統。對一個

原创 PCA 實踐 利用 PCA 算法對人臉數據集內所有人進行降維和特徵提取 PCA原理解析+代碼

數據集 實驗所用到的數據集在下面的鏈接中, 這些數據是來自劍橋大學提供的 AT&T 人臉數據 集,有 40 個人的人臉圖像, 每個人有 10 張不同光照和姿態的照片。 樣例: 地址: http://www.cl.cam.ac.uk/R

原创 jupyter notebook 切換kernel(超簡單)

1. 激活虛擬環境 2.安裝ipykernel pip install ipykernel 或者  conda install ipykernel也可。 3. 將自己的環境添加到ipython的kernel中 python -m ip

原创 Numpy中的填充,np.pad()

1. numpy.pad 在卷積神經網絡中,爲了避免因爲卷積運算導致輸出圖像縮小和圖像邊緣信息丟失,常常採用圖像邊緣填充技術,即在圖像四周邊緣填充0,使得卷積運算後圖像大小不會縮小,同時也不會丟失邊緣和角落的信息。在Python的nump

原创 深度學習中single crop / multiple crops evaluation/test 是什麼意思

最近在ResNet論文中看到了 標準的10-crop測試,此處小記一下。   對於一個分類網絡,在測試階段,使用single crop/multiple crop得到的結果是不一樣的,相當於將測試圖像做數據增強。 shicaiyang(星

原创 常見的虛擬化軟件及其特點。

常用的有VMware(VMware workstation(適合單臺計算機使用)、VMware vsphere(VMware esxi )、VMware Fusion(Mac)) , Oracle VM VirtualBox,Xenser

原创 VLAD算法簡介 圖像檢索

1.1  vlad基礎概念 VLAD是vector of locally aggregated descriptors的簡稱,是由Jegou et al.在2010年提出,其核心思想是aggregated(積聚),主要應用於圖像檢索領域

原创 霍夫直線檢測原理+圖示+樣例解析

首先,介紹笛卡爾空間,就是我們常見的那個幾何空間啦,通過 y=kx+b,可以表示直線。 然後,想一下,如果把上面方程變形一下,b=-xk+y,(k和b作爲變量,xy作爲常量),那麼是不是又是一條另外的直線呢?對了,這就是霍夫空間了。 然後

原创 淺談NLP中Attention機制的理解

1.什麼是注意力機制? 注意力機制模仿了生物觀察行爲的內部過程,即一種將內部經驗和外部感覺對齊從而增加部分區域的觀察精細度的機制。例如人的視覺在處理一張圖片時,會通過快速掃描全局圖像,獲得需要重點關注的目標區域,也就是注意力焦點。然後對這

原创 淺談冷啓動問題 (推薦系統相關)

1.冷啓動問題定義 推薦系統需要根據用戶的歷史行爲和興趣預測用戶未來的行爲和興趣,對於BAT這類大公司來說,它們已經積累了大量的用戶數據,不發愁。但是對於很多做純粹推薦系統的網站或者很多在開始階段就希望有個性化推薦應用的網站來說,如何在對

原创 《算法筆記》胡凡 配套刷題網站

1. PAT官網  https://pintia.cn/problem-sets?tab=0 https://pintia.cn/problem-sets/994805260223102976/problems/type/7 2. 課後

原创 什麼是多模態學習?

首先,什麼叫做模態(Modality)呢? 每一種信息的來源或者形式,都可以稱爲一種模態。例如,人有觸覺,聽覺,視覺,嗅覺;信息的媒介,有語音、視頻、文字等;多種多樣的傳感器,如雷達、紅外、加速度計等。以上的每一種都可以稱爲一種模態。 同

原创 操作系統複習筆記——第一章 導論

第一章 導論 1.1 操作系統做什麼 計算機系統 計算機硬件 操作系統 系統程序和應用程序 用戶 1.1.1 用戶視角 個人PC 設計目的是爲了用戶使用方便,性能是次要的,而且不在乎資源使用率(如何共享硬件和軟件資源 性