原创 Java基礎 - java容器
Java的容器是用來存放對象數據，根據不同的業務需求選擇不同的容器類型（List、Set、Queue、Map）。 通過上述的圖可以瞭解到Java的容器大致分成兩類map類和Collection類 Collectio
2020-02-25 08:02:52
原创 Hive - 簡介和安裝
一、產生背景 初代的hadoop的MapReduce寫起來非常的麻煩。 兼容RDBMS人員的“雲化”，方便使用類SQL操作大數據集。 二、架構 根據上圖可以知道，Hive的接口可以是命令行、JDBC（JDBC主要的作用
2020-02-25 08:02:52
原创 java 反射
Spring中往往一個註解（如@Controller@Service）就可以完成一些複雜的操作。註解應用於反射之上，反射是java的重中之重。反射強調的是運行時狀態，獲取類的方法和屬性的一些信息。 一、獲取類 通過反射獲取
2019-06-11 21:32:35
原创 設計模式一
一、面向對象的設計原則： 1、單一原則： 高內聚，低耦合。簡單的說就是一個類儘可能只做一件事。dao.class就只是數據庫的操作；controller就只是對restfull的請求的接收；math.class只做數學上的計算
2019-06-11 21:32:35
原创 fastjson轉換
public class JsonTest { @Test public void beanToString() { Animal animal = new Animal(); an
2019-06-11 21:32:35
原创 kafka
kafka是一個分佈式流平臺，kafka說到底其實就是一個數據緩存池的作用。在數據高峯的時候不至於數據處理堵塞，而是有所緩衝。 一、部署 kafka是依賴zookeeper，所以先要部署zookeeper。 1.1 部署zk的
2019-01-09 16:02:51
原创 Spark Streaming - 基礎
一、概述 Spark Streaming是Spark對流式的計算框架，嚴格意義上說其實並不是真正實時性很高的流式計算，而是以時間片作爲批次進行計算。Spark Streaming底層是以Spark Core爲基礎。 如上圖所
2018-12-30 14:48:18
原创 Spring @RequestBody和@RequestParam的請求方式get和post關係
首先Spring的微服務是通過URL進行交互的。在http的請求中post和get的請求方式所帶的參數對於Spring的@Controller下的註解有一些不同。 一、URL和URI 先來理解一下什麼是URL和URI。
2018-11-30 16:03:40
原创 Java基礎-線程池
Java應用程序需要運用線程，線程的出現使得程序能進行並行化操作。但如果遇上並行化量大，且運行時間短的場景來說，每個任務都創建一個線程，其實並不合適，啓動和銷燬線程佔用大量的資源，所以，用線程池，重複使用線程完成任務。 一、線程池
2018-11-23 01:07:47
原创 Java-線程基礎
一、線程的狀態 New新建 Runnable可運行 Running運行 Blocked阻塞 Dead死亡 New新建，就是創建一個線程。 Runnable可運行，線程啓動start，等待cpu調度。 Running運行
2018-11-22 01:08:13
原创 Java - 數據結構
什麼是數據結構？數據結構是計算機存儲、組織數據的方式。數據的基本功能是對數據的增刪改查，不同的數據結構效率和側重點不一樣。 常見數據結構 數據結構 優點 缺點 數組 隨機訪問快 刪除、指定位置插入慢 鏈表 插入和
2018-10-20 01:15:42
原创 Scala基礎一
選用的Scala版本：2.11.8 一、申明值和變量 定義的規範“val name : String = null”，val 表示這個變量是常量，內容無法改變；你也可以使用var 標註變量爲可變內容。 常用的數據類型：
2018-09-04 03:21:00
原创 Flume
如果數據是在MySQL中的話，需要用到Sqoop工具將數據導入大數據平臺。如果是日誌類型的日誌，需要用到Flume導入大數據平臺。 Flume是一個分佈式、 基於流式數據。Flume的靈魂（Agent）就是採集（source）、
2018-09-04 03:21:00
1
原创 spark 算子
什麼是spark算子？可以理解成spark RDD的方法，這些方法作用於RDD的每一個partition。 因爲spark的RDD是一個 lazy的計算過程，只有得到特定觸發纔會進行計算，否則不會產生任何結果。大體上分： Tr
2018-09-04 03:21:00
原创 Flume二
一般的agent的數據源過來是從Source->Channel->Sink。在上一長講解的時候都是單Sink，單Channel，單Source，其實三個組件之間還有有一層架構。 在Source和Channel之間有一個選擇器，叫
2018-09-04 03:21:00