原创 概率分佈

概率分佈 總結一些廣泛使用的概率分佈的性質。對於每個概率分佈,列出一些關鍵的統計性質,例如期望E[x] 、方差(或者是協方差)、衆數、熵H[x] 。所有這些分佈都是指數族的成員,被廣泛用作更高級的概率模型的基本模塊。 伯努利分佈 這是

原创 梯度下降方法

梯度下降法 簡介 梯度下降法是最小化目標函數J(θ) 的一種方法,旨在降低真實值和預測值之間的誤差,其中θ∈Rd 爲模型參數。梯度下降法利用目標函數計算參數梯度ΔθJ(θ) 的反方向更新參數。學習率η (learning rate)

原创 Logistic Regression 邏輯迴歸,Tensorflow源碼實現

Logistic Regression 邏輯迴歸,Tensorflow 源碼實現 Logistic Regression是一種基於概率的線性分類器。它由一個權重矩陣W 和偏差向量b 參數組成。邏輯迴歸將輸入向量投影到一組超平面,每個超平面

原创 多層感知機 Multi-Layer Perception Tensorflow實現

Multi-Layer Perception,多層感知機 多層感知機(MLP)可以被看作是一個邏輯迴歸分類器,其輸入數據首先使用已學習的非線性變換Φ 進行轉換。把輸入數據映射到一個線性可分空間裏。這個中間層被稱爲隱藏層。單隱藏層的多層感知

原创 去噪自動編碼機

去噪自動編碼機(Denoising Autoencoder) 自動編碼機的主要作用是數據降維,提取特徵。 原始輸入x 經過加權 (W,b) ,映射函數(如:非線性函數Sigmoid)之後得到y ,在對y 反向加權映射回來成爲z 。通過

原创 自動編碼機

自動編碼機(Autodencoder) 自動編碼機(Autoencoder)屬於非監督學習,不需要對訓練樣本進行標記。自動編碼機(Autoencoder)由三層網絡組成,其中輸入層神經元數量與輸出層神經元數量相等,中間層神經元數量少於輸

原创 linux掛載windows文件夾

Linux 掛載 windows共享文件 在windows系統上新建share文件夾,設置共享屬性 在Linux文件系統 /mnt/目錄下新建public文件夾 在Linux系統中執行命令 : mount -t cifs //wind

原创 NFS Gateway Error

Cloudera NFS Gateway Error : Cannot connect to port 111. 解決辦法 出現這種問題的原因可能是 rpcbind 停止了服務; 解決辦法: systemctl status rpcbin

原创 Hbase數據遷移

HBase 數據遷移方案(集羣互通) Export and Import 方法 (1) 在舊集羣上把hbase數據庫中的表導出。 使用:hbase org.apache.hadoop.hbase.mapreduce.Export Hba

原创 Ubuntu下安裝thrift同時由Hbase.thrift生成hbase文件

1.首先下載thrift (版本爲thrift-0.9.1) 網址爲 http://www.apache.org/dyn/closer.cgi?path=/# #thrift/0.9.1/thrift-0.9.1.tar.gz

原创 cluster

Hadoop 集羣搭建 本文描述瞭如何安裝、配置、和管理有實際意義的Hadoop集羣,其規模可從幾個節點的小集羣到幾千節點的超大集羣。 安裝 安裝Hadoop集羣通常要將安裝軟件解壓到集羣內的所有機器上。 通常,集羣裏的一臺機器被指定爲

原创 Vmware vSphere client手動更改mac地址

VMware Vsphere client 手動更改mac地址 點擊虛擬機編輯設置,選中硬件一欄,網絡適配器1,MAC地址選擇手動。 配置參數,選擇添加參數 ethernetN.checkMACAddress = “false” ,把

原创 vsphere cluster 構建

vsphere 集羣的構建的詳細步驟 本篇文章主要講述了 vmware vsphere 集羣的構建。從服務器安裝vmware esxi 系統開始,然後在一臺服務器建一臺虛擬機,在新建的虛擬機上安裝Window 2008 server