原创 Hadoop的一些基本知識

Hadoop 簡介 Hadoop是一個適合海量數據的分佈式存儲和分佈式計算的平臺。作者Doug Cutting 受Google三篇論文的啓發,開發了hadoop。 Hadoop 組件 hadoop是一個統稱,目前hadoop主要包

原创 Hadoop集羣搭建的總結

準備工作 虛擬機安裝三臺linux,可以先安裝一臺虛擬器,然後進行克隆。這裏我使用的是:centos 6.5 ip配置 配置網絡虛擬編輯器。如果是採用克隆的機器,注意修改mac地址,和ip地址。 修改主機名 vi /etc/sy

原创 深度卷積網絡:實例探究

幾個經典的網絡 LeNet-5網絡,我記得應該是1980年代的,經常被引用的AlexNet,還有VGG網絡。這些都是非常有效的神經網絡範例,當中的一些思路爲現代計算機視覺技術的發展奠定了基礎。論文中的這些想法可能對你大有裨益,對你

原创 CS231n的第三次作業之循環神經網絡

在本作業中,你將實現循環網絡,並將其應用於在微軟的COCO數據庫上進行圖像標註。我們還會介紹TinyImageNet數據集,然後在這個數據集使用一個預訓練的模型來查看圖像梯度的不同應用。 使用普通RNN進行圖像標註 加載必要的庫

原创 CS231n的第一次作業之Softmax

作業一 作業內容: 實現k-NN,SVM分類器,Softmax分類器和兩層神經網絡,實踐一個簡單的圖像分類流程。 Softmax介紹: SVM和Softmax分類器是最常用的兩個分類器,Softmax分類器就可以理解爲邏輯迴歸分類

原创 CS231n的第三次作業之圖像生成:類別,反演和DeepDream

在本作業中,你將實現循環網絡,並將其應用於在微軟的COCO數據庫上進行圖像標註。我們還會介紹TinyImageNet數據集,然後在這個數據集使用一個預訓練的模型來查看圖像梯度的不同應用。 到目前爲止,在CS231N中,我們探索的

原创 Linux的VMTools安裝

什麼是VMtools VM tools顧名思義就是Vmware的一組工具。主要用於虛擬主機顯示優化與調整,另外還可以方便虛擬主機與本機的交互,如允許共享文件夾,甚至可以直接從本機向虛擬主機拖放文件、鼠標無縫切換、顯示分辨率調整等,

原创 高光譜圖像的一些知識

現在主要介紹一下高光譜圖像,以及高光譜圖像的特點。 高光譜圖像 光譜分辨率在10l數量級範圍內的光譜圖像稱爲高光譜圖像(Hyperspectral Image)。遙感技術經過20世紀後半葉的發展,無論在理論上、技術上和應用上均發生

原创 大數據之linux的安裝和部署

Linux介紹 1.Linux內核最初只是由芬蘭人林納斯托瓦茲在赫爾辛基大學上學時出於個人愛好而編寫的。Linux是一套免費使用和自由傳播的類Uuix操作系統,是一個多用戶、多任務、支持多線程和多CPU的操作系統。 2.目前市面上

原创 L1正則化進行特徵選擇

基於懲罰項的特徵選擇法 懲罰項的基模型,除了篩選出特徵外,同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯迴歸模型,來選擇特徵的代碼如下: from sklearn