原创 Java數組/List集合 轉 JSON 字符串
1. 導入fastjson依賴 2.轉換代碼 public class Test { public static void main(String[] args) { /* 需求: 將p
2019-07-10 10:32:31
1
原创 cellspacing和cellpadding區別
cellspacing和cellspadding區別 屬性 含義 常用屬性值 cellspacing 設置單元格與單元格邊框之間的空白間距 像素值(默認爲2px) cellspadding 設置單元格內容與單元格邊框之間的空白距離 像素值
2019-07-09 10:29:23
原创 Spring Security入門【基於配置文件和數據庫】
一、引言 安全包括兩個主要操作。 “認證”，是爲用戶建立一個他所聲明的主體。主題一般指用戶，設備或可以在系統中執行動作的其他系統。簡單來說，校驗賬號密碼是否正確，就是"認證"的過程。“授權”，指的是一個用戶能否在你的應用中執行某個操作，在
2019-07-08 09:41:21
原创 Spark Core入門2【RDD的實質與RDD編程API】
一、對RDD操作的本質 RDD的本質是一個函數,而RDD的變換不過是函數的嵌套.RDD有兩類: 輸入的RDD: 典型如KafkaRDD、JDBCRDD 轉換的RDD: 如MapPartitionsRDD RDD的處理流程: 以如下代碼爲例
2019-06-18 10:55:05
原创 RDD的幾種創建方式
一、RDD簡介 RDD是Spark的核心抽象，全稱爲Resillient Distributed Dataset，即彈性分佈式數據集 RDD在抽象上來說是一種元素集合，包含了數據。它是被分區的，分爲多個分區，每個分區分佈在集羣中的不同節點
2019-06-17 10:17:49
1
原创 基於Akka模擬Spark中Master和Worker的通信過程
一、Spark中Master與Worker之間的通信過程 1、在啓動時，Worker會向Master註冊自己的信息(內存、核數等)，以便 2、Master收到各Worker的註冊信息後，會回覆Worker已註冊成功的信息 3、worke
2019-06-11 23:11:51
原创 基於Scala的併發編程模型Akka
一、Akka概念 Akka 是 JVM 平臺上構建高併發、分佈式和容錯應用的工具包和運行時環境。Akka用Scala 語言編寫，同時提供了 Scala 、JAVA 的開發接口。 二、Akka 中 Actor 模型
2019-06-11 23:11:51
原创 Spark Core入門【Spark集羣安裝、高可用、任務執行流程】
一、Spark介紹 Spark是一種快速、通用、可擴展的大數據分析引擎，包含SparkSQL、Spark Streaming、GraphX、MLlib等子項目。 Spark是基於內存計算的大數據並行計算框架。Spark基於內存計算，提高了
2019-06-11 23:11:51
原创 ElasticSearch入門
全文搜索屬於最常見的需求，開源的 Elasticsearch是目前全文搜索引擎的首選。它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都採用它。 ElasticSearch 的底層是開源
2019-04-27 23:51:27
原创 ElasticSearch-head安裝配置教程
安裝ElasticSearch圖形管理界面ElasticSearch-head 《elasticsearch-head》Github地址 安裝之前做一些準備工作，將itcats用戶切換到root用戶 su echo "itcats A
2019-04-27 23:51:27
原创 ElasticSearch單機/集羣搭建教程
本文將介紹ElasticSearch單機版與集羣版的安裝與配置，ElasticSearch依賴JRE，注意機器是否安裝JDK8【最低版本要求就是JDK8】，且JDK環境變量是否已配置完成 java -version echo $JAV
2019-04-26 23:45:11
原创 Flume快速入門
前言 在一個完整的離線大數據處理系統中，除了HDFS+MapReduce+Hive組成分析系統的核心之外，還需要數據採集、結果數據導出、任務調度等不可或缺的輔助系統，而這些輔助工具在Hadoop生態體系中都有便捷的開源框架，如圖所示： 圖
2019-04-20 19:12:56
原创 StringUtils中 isNotEmpty 和isNotBlank的區別【Java字符串判空】
速查： isNotEmpty(str)等價於 str != null && str.length > 0 isNotBlank(str) 等價於 str != null && str.length > 0 && str.trim().
2019-04-20 19:12:56
23
原创 HBase原理詳解【Master、Region Server內部機制、Zookeeper、讀寫數據流程、hbase:meta表】
一、HBASE運行原理 組件結構圖 二、各組件的職責 2.1 MASTER職責 1、管理HRegionServer，實現其負載均衡。 2、管理和分配HRegion，比如在HRegion split時分配新的HRegion；在H
2019-04-19 09:29:15