原创 spark學習過程

spark學習之路,這裏就用來記錄spark學習及實踐過程中遇到的問題 1、在集羣中運行spark自帶的例子時,出現了錯誤 執行如下命令 $ ./bin/run-example org.apache.spark.examples.Spar

原创 Spark on Yarn上實現WordCount程序

1、WordCount程序代碼 package com.first import org.apache.spark.SparkContext import SparkContext._ import org.apache.spark.

原创 python 時間積累

#當月1號  datetime.date(datetime.date.today().year,datetime.date.today().month,1)   #當月1號   datetime.dat

原创 hadoop2.4.1僞分佈式安裝過程總結

先在root下的部分配置與安裝 #配置機器網絡環境 #修第一臺 hostname 爲 master  hostname master #檢測 Hostname  #配置主機名 (hostname)    vi /etc/sysconfig