20160106 課程筆記
Spark上流行的存儲框架： Hadoop的 HDFS 和 S3 雲存儲
未來三至五年黃金組合框架：Spark+Tachyon+HDFS
Tachyon: 基於內存的分佈式文件系統, 不同來源的數據,
安裝
VMWare 軟件
電腦推薦16G: 兩個 KINGSTON 8G，至少8G內存
系統推薦UbantuKylin
SecureCRT 工具
使用Hadoop 2.6.0 目前而言，最穩定的版本
Hadoop重要目錄
/usr/local/hadoop/
-2.6.0/
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.sh
bashrc
配置HADOOP_HOME,SPARK_HOME,SCALA_HOME等信息
slaves
安裝Spark 1.6.0 略
Coarse Grained
粗粒度，先配置資源。 細計算時分配
萬一有一個任務完成，其他資源閒着浪費。
Yarn： 粗粒度
MESOS 粗、細粒度
作業
安裝Hadoop, Spark環境截圖
發佈PI程序
--------------------------------------------------------------
王家林 中國Spark第一人DT大數據夢工廠
新浪微博： http://weibo.com.ilovepains/
微信公共號：DT_Spark
博客：http://bolg.sina.com.cn/ilovepains
手機：18610086859
qq：1740415547
郵箱：[email protected]
--------------------------------------------------------------