原创 YARN HA架構
Yarn HARM:a.啓動時會通過向ZK的/hadoop-ha目錄寫一個lock文件，寫成功則爲active，否則standybystandy 的RM會一直監控lock文件是否存在，如果不存在就會嘗試去創建，爭取爲active RMb.會
2019-09-25 14:38:34
11
原创 HDFS HA架構
HA背景對於HDFS、YARN的每個角色都是一個進程，比如HDFS：NN/SNN/DN 老大是NNYARN：RM/NM 老大是RM對於上面，都會存在單點故障的問題，假如老大NN或者RM掛了，那麼就不能提供對外服務了，會導致整個集羣都
2019-09-24 14:38:26
1
原创 spark基礎--rdd的生成
使用parallelize創建RDD 也 可以使用makeRDD來創建RDD。通過查看源碼可以發現，makeRDD執行的時候，也是在調用parallelize函數，二者無區別。通過 .textFile 可以通過文件讀取項目路徑 和 hdfs
2019-09-22 14:33:27
原创 hadoop高可用集羣 hdfs命令
hdfs haadmin查看幫助命令hdfs haadmin -getServiceState nn1 nn2注意：其中nn1 和 nn2是namenode的server id，不是機器名在hdfs.xml中找到service id，配置文
2019-09-22 14:33:27
原创 spark基礎-rdd特性
RDD特性：1.RDD是spark提供的核心抽象，全稱：Resillient Distributed Dataset,即彈性分佈式數據集。2.RDD在抽象上來說是一種元素集合，包含了數據。它是被分區的，氛圍多個分區，每個分區分佈在集羣中的不
2019-09-22 14:33:27
原创 使用阿里雲服務器，離線搭建CDH集羣
準備工作1.服務器關鍵詞：3臺服務器配置要求至少2核8G選擇同地域同區域服務器，保證內網通暢個人學習，推薦使用阿里雲按量付費的服務器，在使用時候開啓，不適用的時候關機停止收費。需注意兩點：（1）服務器配置至少2核8G，否則CDH集羣可能無法
2019-09-20 14:35:43
1
原创 spark的靈魂：RDD和DataSet
spark建立在抽象的RDD上，把不同處理的數據的需求轉化爲RDD，然後對RDD進行一系列的算子運算，從而得到結果。RDD是一個容錯的，並行的數據結構，可以將數據存儲到磁盤和內存中，並能控制數據分區，並提供了豐富的API來操作數據。 1：R
2019-09-06 14:35:08
原创 SQL 增加列、修改列、刪除列
SQL語句增加列、修改列、刪除列 1.增加列： alter table tableName add columnName varchar(30)2.1. 修改列類型：alter table tableName alter column co
2019-05-24 14:27:18
原创 scala語言基礎細節
1.val a:Float = 1.1 無法識別數據類型error: type mismatch; found : Double(1.1) required: Float val a:Float = 1.1
2019-05-05 14:20:15
原创 union的特性，去重與不去重
union的特性，去重與不去重集合操作有 並，交，差 ３種運算。 union :得到兩個查詢結果的並集，並且自動去掉重複行。不會排序 union all:得到兩個查詢結果的並集，不會去掉重複行。也不會排序 intersect:得到兩個
2019-04-12 14:22:53
2
原创 使用FastJSON 對Map/JSON/String 進行互轉
https://blog.csdn.net/cool_summer_moon/article/details/78722623
2019-03-26 14:18:52
1
原创 關於scala中的map基礎詳解
Scala提供了一套很好的集合實現，提供了一些集合類型的抽象。Scala 集合分爲可變的和不可變的集合。可變集合可以在適當的地方被更新或擴展。這意味着你可以修改，添加，移除一個集合的元素。而不可變集合類，相比之下，永遠不會改變。不過，你仍然
2019-03-26 14:18:52
1
原创 FastJson使用範例(Java、Scala版)
0.目錄FastJson簡介FastJson三個核心類MavenJava API反序列化一個簡單Json字符串反序列化一個簡單JSON字符串成Java對象組反序列化一個複雜的JSON字符串反序列化序列化序列化和反序列化日期JsonObjec
2019-03-26 14:18:52
3
原创 POM 標籤大全詳解
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL
2019-02-22 18:53:00
原创 深入理解java異常處理機制
引子 try…catch…finally恐怕是大家再熟悉不過的語句了，而且感覺用起來也是很簡單，邏輯上似乎也是很容易理解。不過，我親自體驗的“教訓”告訴我，這個東西可不是想象中的那麼簡單、聽話。不信？那你看看下面的代碼，“
2019-02-22 18:52:58