原创 sqoop 安裝配置（Hadoop2.4 + hive0.13）
1、下載 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar 2、配置環境變量 export SQOOP_HOME=/home/hadoop/sqoop-1.4.6 export PATH=$PATH:$SQ
2020-07-07 11:21:22
原创 sqoop 導出 hive分區表 數據到 mysql
命令：./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table tablename --exp
2020-07-07 11:21:22
原创 HBase使用場景
轉自：http://blog.sina.com.cn/s/blog_ae33b83901016azb.html HBase仿效了Google的BigTable，讓我們開始探索典型的BigTable問題：存儲互聯網。 1.2.
2020-07-07 11:21:22
原创 查詢方式創建hive新表，並制定相應分隔符
命令： CREATE TABLE tablename_temp # 創建表 row format delimited fields terminated by ',' #指定分隔符號 AS select filed1,filed2 f
2020-07-07 11:21:21
原创 shell 操作 MySQL
命令： mysql -uroot -p123456 <<EOF use test; select * from tablename limit 10; EOF 其中： -uroot，root爲用戶名 -p123456，123456爲密碼
2020-02-22 00:12:36
原创 CNN卷積神經網絡
CNN卷積神經網絡 1、初始化卷積網絡結構 cnn.layers = { %input layer struct('type', 'i') %卷積層，卷積6個特徵輸出，卷積核尺寸爲<5,5>，卷積核爲{1,6}<5,5>。 struc
2020-02-22 00:12:36
原创 scala 在 spark 中操作 hdfs
問題場景：在編寫spark程序時，輸出目錄存在會造成spark任務失敗。處理方法有2種，第一利用腳本方式，在主任務之上加層處理，第二，在spark任務中先處理掉目錄。spark支持的可編程語言有Scala、Python、Java。其中Py
2020-02-22 00:12:25
原创 hive數據操作
轉自：http://www.cnblogs.com/ggjucheng/archive/2013/01/04/2844673.html hive有兩種數據修改方式 從文件加載到hive表 加載數據到表時，hive不會做任何轉換。
2020-02-22 00:12:25
原创 DBN深信度網絡
DBN深信度網絡 1、以RBM（限制玻爾茲曼機）訓練第1~n-1層的網絡權重。 2、在第n層以線性感知機，隨機初始化權重。並與之前隱層一起，轉變爲已訓練起始參數的BP神經網絡。 3、運用BP算法調整整個網絡權重。
2020-02-22 00:12:25
原创 matlab函數 bsxfun淺談
轉自：http://blog.sina.com.cn/s/blog_9e67285801010ttn.html 網上關於bsxfun的東西不多，今天需要看到一個，由於原博文插入的圖片顯示不出來，於是筆者大發善心進行了contrl
2020-02-22 00:12:25
原创 SAE稀疏編碼機
SAE稀疏編碼機 1、（非監督學習）以input-input方式重複利用BP算法獲得稀疏編碼機的權重w{i}。 2、將訓練的各層稀疏編碼機權重，賦給新的BP算法，作爲算法近似最優權重。並隨機初始化第n層的感知器權重。 3、（監督學習）運用
2020-02-22 00:12:25
原创 spark 目錄通配符
在以spark分析棧進行數據分析計算時，經常需要在多目錄中選擇一定數目的目錄或文件。此時就需要用到通配符，使程序更加簡潔，代碼更加優美。 一般目錄選擇情況，及其方法： n選1 ：目錄或文件夾唯一，直接寫全目錄。如：hdfs://19
2020-02-22 00:12:25
2
原创 數據預處理-歸一化與z-score標準化
歸一化： 歸一化是一種簡化計算的方式，即將有量綱的表達式，經過變換，化爲無量綱的表達式，成爲標量。 在多種計算中都經常用到這種方法。 線性函數轉換： y=(x-MinValue)/(MaxValue-MinValue) 說明：x、y分
2020-02-22 00:12:25
原创 NN（BP）算法
1、初始化網絡結構及w參數 2、nnff前向傳播計算a: 訓練集初始化a{1}; 循環計算a{i}=f(a{i-1},w,…)。 3、nnbp誤差反向傳播計算d 計算e=a{n}-y，初始化d{n}=e; 循環計算d{i}=f(d{i+
2020-02-22 00:12:25
原创 MATLAB卷積運算（conv、conv2、convn）
conv（向量卷積運算） 所謂兩個向量卷積，說白了就是多項式乘法。 比如:p=[1 2 3],q=[1 1]是兩個向量，p和q的卷積如下： 把p的元素作爲一個多項式的係數，多項式按升冪（或降冪）排列，比如就按升冪吧，寫出對應的多項式：1+
2020-02-22 00:12:25
1