原创 Flume 常用配置
配置文件文件名任意 a1.sources = r1 a1.sinks = k1 a1.channels = c1 其中 a1 是agent 的名字 r1 是sources 的名字 c1 是channels的名字 k1 是si
2020-02-21 07:57:32
原创 MapReduce 分組GroupingComparator
public class GroupingComparator extends WritableComparator { //傳入作爲key的bean的class類型，以及制定需要讓框架做反射獲取實例對象 pro
2020-02-21 07:57:32
原创 MapReduce 緩存文件
/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOExceptio
2020-02-21 07:57:32
原创 Kafka 安裝&常用操作命令
Kafka https://kafka.apache.org/ Apache Kafka是由Apache軟件基金會開發的一個開源消息中間件項目，由Scala寫成。Kafka最初是由LinkedIn開發，並於2011年初開源
2020-02-21 07:57:32
原创 Spring Cloud Eureka 服務註冊與發現
Eureka是Netflix開源的一個RESTful服務，主要用於服務的註冊發現。Eureka由兩個組件組成：Eureka服務器和Eureka客戶端。Eureka服務器用作服務註冊服務器。Eureka客戶端是一個java客戶端，用來簡化
2018-08-25 16:07:56
原创 JAVA 併發編程 線程池
1、 Single Thread Executor : 只有一個線程的線程池，因此所有提交的任務是順序執行， 代碼： Executors.newSingleThreadExecutor() 2、 Cached Thread Pool
2018-08-25 16:07:56
原创 Spring Cloud Config/Bus 使用
Spring Cloud Config Server 依賴 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-clou
2018-08-25 16:07:56
原创 JAVA JMS Java消息服務（Java Message Service） 的實現ActiveMQ
JMS即Java消息服務（Java Message Service）應用程序接口是一個Java平臺中關於面向消息中間件（MOM）的API，用於在兩個應用程序之間，或分佈式系統中發送消息，進行異步通信。Java消息服務是一個與具體平臺無關
2018-08-25 16:07:56
原创 Docker Dockerfile 創建鏡像
從剛纔的 docker commit 的學習中，我們可以瞭解到，鏡像的定製實際上就是定製每一層所添加的配置、文件。如果我們可以把每一層修改、安裝、構建、操作的命令都寫入一個腳本，用這個腳本來構建、定製鏡像，那麼之前提及的無法重複的問題、
2018-08-25 16:07:56
3
原创 Scala 類的主構造方法中屬性修飾符的作用與區別
衆所周知,Scala 是運行於Java平臺（Java虛擬機）的,那麼Scala程序編譯之後會生成對應的字節碼文件,我們將字節碼文件反編譯成Java文件即可知Scala 爲我們都做了什麼. Scala 源代碼 class Test4(a
2018-08-25 16:07:55
1
原创 Spark RDD的依賴關係
RDD和它依賴的父RDD（s）的關係有兩種不同的類型即 窄依賴（narrow dependency） 寬依賴（wide dependency）。 窄依賴指的是每一個父RDD的Partition最多被子RDD的一個Partition
2018-08-25 16:07:55
1
原创 [排序]冒泡排序及優化
private static void bubblesort(int[] list) { int i, j; //循環次數 for (i = 0; i < list.length; i++
2018-08-25 16:07:55
3
原创 Scala apply() unapply() update() 方法
apply() 有如下類和伴生對象 class Test { } object Test { def apply(): Test = new Test() def main(args: Array[String]): Uni
2018-08-25 16:07:55
原创 Docker 簡介 安裝 啓動 常用命令
簡介 Docker是一個開放源代碼軟件項目，讓應用程序佈署在軟件容器下的工作可以自動化進行，藉此在Linux操作系統上，提供一個額外的軟件抽象層，以及操作系統層虛擬化的自動管理機制[1]。Docker利用Linux核心中的資源分脫機制，
2018-08-25 16:07:55
原创 spark checkpoint
/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `Spa
2018-08-25 16:07:55
3