原创 谷歌三大核心技術（二）Google MapReduce中文版
閱讀目錄2.1、例子2.2、類型2.3、更多的例子3、實現3.1、執行概括3.2、Master數據結構3.3、容錯3.4、存儲位置3.5、任務粒度3.6、備用任務4.1、分區函數4.2、順序保證4.3、Combiner函數4.4、輸入和輸出
2019-02-22 20:44:49
原创 谷歌三大核心技術（三）Google_BigTable中文版
閱讀目錄行列族時間戳5.1Tablet的位置5.2Tablet分配5.3Tablet服務5.4Compactions局部性羣組壓縮通過緩存提高讀操作的性能Bloom過濾器Commit日誌的實現Tablet恢復提速利用不變性單個Tablet服
2018-09-11 04:06:16
原创 谷歌三大核心技術（一）Google File System中文版
閱讀目錄2.1設計預期2.2 接口2.3 架構2.4 單一Master節點2.5 Chunk尺寸2.6 元數據2.7 一致性模型3.1 租約（lease）和變更順序3.2 數據流3.3 原子的記錄追加3.4 快照4.1 名稱空間管理和鎖4.
2018-09-11 04:06:16
原创 SSH無需密碼密鑰登錄
SSH無需密碼密鑰登錄摘錄一在192.168.42.142機器上1)運行：ssh-keygen -t rsa2)然後拍兩下回車（均選擇默認）3)運行： ssh-copy-id -i /root/.ssh/id_rsa.pub root@19
2018-09-11 04:06:16
原创 hadoop命令大全
參考來自hadoop官方網文檔http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#cpFS ShellcatchgrpchmodchowncopyFromLocalcopyToLo
2018-09-11 04:06:16
原创 Spark集羣基於Zookeeper的HA搭建部署筆記
1.環境介紹（1）操作系統RHEL6.2-64（2）兩個節點：spark1(192.168.232.147),spark2(192.168.232.152)（3）兩個節點上都裝好了Hadoop 2.2集羣2.安裝Zookeeper（1）下載
2018-09-11 04:06:16
原创 安裝spark的前端展示可視化sparkR
目錄(?)[-]安裝R語言1更新源到fedoraproject2安裝RrJava安裝1 rJava介紹2 rJava安裝SparkR的安裝1 sparkR的代碼下載2 sparkR的代碼編譯3運行sparkR3運行sparkR例子 1 安裝
2018-09-11 04:06:15
原创 安裝和配置CentOS服務器的詳細步驟
安裝操作系統CentOS 6.2 CentOS-6.2-i386-bin-DVD1.iso32位 CentOS-6.2-x86_64-bin-DVD1.iso64位安裝 CentOS時選擇 “Basic Server”root密碼root1
2018-09-11 04:06:15
原创 hadoop-2.6.0基準測試
hadoop-2.6.0基準測試 1.測試程序的幫助信息[hadoop@tong1 hadoop-2.6.0]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-job
2018-09-11 04:06:15
原创 linux命令之set x詳解
linux命令之set x詳解set -x與set +x指令 用於腳本調試。set是把它下面的命令打印到屏幕set -x 是開啓 set +x是關閉 set -o是查看 (xtrace)，set去追中一段代碼的顯示情況。執行set -x後
2018-09-11 04:06:15
原创 CentOS下安裝Scala（事例爲Scala2.11.6）
注：下載地址：http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.tgz?_ga=1.41078626.1125902863.1429259252可採用#wget "下載地址" 方
2018-09-11 04:06:15
原创 Spark VS Hadoop
1、 Spark VSHadoop有哪些異同點？ Hadoop:分佈式批處理計算，強調批處理，常用於數據挖掘、分析 Spark:是一個基於內存計算的開源的集羣計算系統，目的是讓數據分析更加快速, Spark 是一
2018-09-11 04:06:15
2
原创 Linux 之 /etc/profile、~/.bash_profile 等幾個文件的執行過程
/etc/profile、/etc/bashrc、~/.bash_profile、~/.bashrc很容易混淆，他們之間有什麼區別？它們的作用到底是什麼？/etc/profile: 用來設置系統環境參數，比如$PATH. 這裏面的環境變量是
2018-09-11 04:06:15
原创 hadoop完全分佈式安裝配置
一、創建hadoop用戶並配置ssh無密鑰登錄。http://yntmdr.blog.51cto.com/3829621/1631908二、安裝jdk三、解壓hadoop壓縮包tar -xf hadoop-2.6.0.tar.gz修改擁有者
2018-09-11 04:06:15