原创 spark2.4.2編譯（mac系統下）
編譯前所注意事項： 首先，儘可能閱讀官網編譯文檔 Building Apache Spark 源碼下載推薦git clone 或者 wget 。 編譯前確保網絡良好。 下載所需要的軟件（注意版本） · Spark-2.4.2.tgz
2019-05-03 08:58:34
1
原创 spark on yarn 運行報錯 prelaunch.err.
錯誤代碼如下： [2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 b
2019-03-30 08:45:24
36
原创 Error: recoverUnfinalizedSegments failed for required journal
一、問題描述 HA按照規劃配置好，啓動後，NameNode不能正常啓動。剛啓動的時候 jps 看到了NameNode，但是隔了一兩分鐘，再看NameNode就不見了。 但是測試之後，發現下面2種情況： 1）先啓動JournalNode，
2018-09-04 18:02:42
原创 HBase創建表已經存在，刪除表又不存在的問題
清除Zookeeper內存數據庫中的相關數據 [root@node1]# zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, hbase] [zk
2018-09-04 18:02:41
原创 RDD原理
RDD概念 RDD的內部屬性 一組分片（Partition），即數據集的基本組成單位 計算每個分片的函數 RDD之間的依賴關係 一個Partitioner，即RDD的分片函數 分區列表，存儲存取每個Partition的優先位置（pr
2018-09-04 18:02:40
原创 RDD使用
RDD操作 RDD的創建方式 RDD的兩種操作算子 RDD操作 RDD的創建方式 從Hadoop文件系統（或與Hadoop兼容的其他持久化存儲系統，如Hive、Cassandra、HBase）輸入（例如HDFS）創建。
2018-09-04 18:02:39
原创 Scala實現乘法表
object HelloWorld { def main(args: Array[String]): Unit = { for (i <- 1 to 9) { for (j <- 1 to i){
2018-09-04 18:02:39
原创 Spark架構及原理
Apache Spark是一個圍繞速度、易用性和複雜分析構建的大數據處理框架，最初在2009年由加州大學伯克利分校的AMPLab開發，並於2010年成爲Apache的開源項目之一，與Hadoop和Storm等其他大數據和MapReduc
2018-09-04 18:02:39
原创 Java實現乘法口訣
for (int i = 1; i < 10; i++) { for (int j = 1; j <= i; j++) { System.out.print(j+"x"+i+"="+j*i+"\t");
2018-09-04 18:02:39
原创 Spark架構及原理
開發角度 原則一：避免創建重複的RDD 原則二：儘可能用同一個RDD 原則三：對多次使用的RDD進行持久化 如何選擇一種最合適的持久化策略 MEMORY_ONLY MEMORY_ONLY_SER MEMORY_AND_DISK_SE
2018-09-04 18:02:39
3
原创 wordcount 數據去重
package com.Practice.RemoveDupData; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyste
2018-09-04 18:02:39
原创 wordcount 求學生平均成績
package com.Practice.AverageScores; import com.Practice.SameFriend.SameFriend; import org.apache.hadoop.conf.Configura
2018-09-04 18:02:38
原创 mysql data文件夾下的ibdata1 文件作用
ibdata1是儲存的格式，INNODB類型數據狀態下，ibdata用來儲存文件的數據，而庫名的文件夾裏面的那些表文件只是結構而已。 由於mysql4.1默認試innodb，所以這個文件默認就存在了http://man.chinaunix
2018-09-04 18:02:37
原创 hadoop wordcount求共同好友代碼實現
package com.Practice.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem;
2018-09-04 18:02:37
原创 deepin下搭建基於github和hexo的個人博客
系統：Linux Deepin 15.4 x64 搭建步驟： 1、 安裝git $ sudo apt-get install git 查看git版本 $ git version 2、 安裝Node.js及npm a. 可以直接命令安裝,
2018-09-04 18:02:37