原创 《hadoop權威指南》輔助排序
MaxTemperatureUsingSecodarySort.java ： package com.hadoop.ncdcdata; import java.io.DataInput; import java.io.DataOu
2020-07-05 21:46:54
原创 Spark SQL解析複雜、嵌套、加密json大文件數據思路（java）
文件gz壓縮格式20G，解壓後200G左右，每行都是一個json字符串，大概500w行。每行json格式簡化後如下： { "tel": "15311111111111", "mac": "33:D3:B3:43:83:03",
2020-07-05 21:46:54
原创 4臺虛擬機實現高可用Hadoop集羣步驟
目錄 一、集羣安裝 1、軟件版本選擇 2、機器配置 1）4臺機器分配 2）修改hosts 3）免密登錄 3、軟件安裝 1）安裝jdk 2）安裝zookeeper 3）安裝had
2020-07-05 21:46:54
原创 《hadoop權威指南》讀書摘要
1、MapReduce執行流程 RecordReader->讀取文件數據，將數據拆分爲kv對 map階段->調用用戶定義程序處理kv對，並對數據進行分區（job.setPartitionerClass）後存儲到“環形內存緩衝區”，
2020-07-05 21:46:54
原创 【慕課網Spring系列學習攻略】IOC及Bean容器篇
從慕課網的java工程師路徑一路學上來，感覺很順利，但鑑於Spring系列對新手不太友好，寫點我的理解希望對新手有點幫助！ 慕課網地址：http://www.imooc.com/learn/196 1、搭建環境 由於老師用的環境比較複
2018-08-31 12:55:41
1
原创 Hive配置hive-site.xml後啓動出錯
錯誤信息： [hadoop@hadoop1 conf]$ hive Logging initialized using configuration in jar:file:/home/hadoop/happ/apache-hive-0
2018-08-31 12:55:41
1
原创 spring系列知識速記
一、bean注入方式 1、設值注入 2、構造注入 二、bean配置項 bean配置項 Id 標識符 Class 指定類 Scope 作用域 Co
2018-08-31 12:55:21
原创 【數據結構與算法經典問題解析】直方圖中最大矩形
出自第四章問題24 問題24 直方圖中的最大矩形： 直方圖是由排列在同一基線上的一系列矩形組成的多邊形。爲了簡單起見，假設這些矩形的寬度相等但高度可能不同。例如，下圖1給出了一個直方圖，其中各個矩形的高度爲3、2、5、6、1、4、4，
2018-08-31 12:55:14
3
原创 【程序解題】圖中有幾個三角形
在微信上看到一道題目，感覺蠻有意思，於是拿來練練編程，打算編寫一個可以解決此類找三角形數的通用程序： 具體的題目是：數出圖中共有多少個三角形： 大體思路是先給三角形的點（藍色）和線（紅色）編號： 再構建一個二維數組，以每點爲一維，元素
2018-08-31 12:55:11
22