原创 Netty SocketIO如何在客戶端發起鏈接時驗證token是否合法?

直接上代碼: socketIOServer.addConnectListener(new ConnectListener() { public void onConnect(SocketIOClient socketIOClie

原创 Windows下RabbitMQ的配置文件

2019-08-23: 因爲Windows下RabbitMQ會瘋狂繁殖自己的日誌,所以想狠心一把,只打印warning級別以上的日誌。 我是在Windows2016下面安裝的RabbitMQ3.7.16(Erlang OTP 22.0),

原创 mysql數據庫突然不見的原因之一

在網上看到很多種導致mysql數據庫不見的情況,大概率是權限的原因。 我今天也遇到了,打開Workbench並登錄,左邊Schemas中的數據庫列表大白一片,乍看嚇一跳。趕緊登錄後臺,通過mysql命令登錄,執行show database

原创 如何解決無法複製粘貼到遠程Windows機器的問題?

兩步即可: 1,在任務管理器中找到並殺掉rdpclip.exe進程; 2,打開DOS界面運行rdpclip.exe。

原创 如何使用Windows IIS頒發的證書生成Netty SocketIO支持SSL所需要的JKS密鑰庫?

大體背景是,同一機器上Windows IIS的Web服務和基於Netty SocketIO的WebSocket服務都需要支持SSL功能。 一開始兩個服務是不同團隊開發,於是分別各自生成支持SSL所需要的證書和密鑰庫。IIS這邊只需要頒發證

原创 Oozie需要的ext-2.2.zip下載鏈接

Oozie-4.1.0-cdh5.16.2指定需要ext-2.2.zip,但是找到下面最常被提到的網址都一無所獲: http://www.sencha.com/products/js/download.php http://www.sen

原创 Netty SocketIO如何支持客戶端發起的SSL訪問?

Netty SocketIO如何支持客戶端的SSL訪問還是比較簡單的,大體上分兩個步驟: 1)準備JKS密鑰庫; keytool -genkey -alias websocket -keyalg RSA -keysize 4096 -k

原创 如何下載Cloudera歸檔網頁上看不到的zookeeper?

最近需要安裝大數據平臺測試環境,於是想用Cloudera的一套組件試試手。因爲嫌棄Cloudera Manager安裝不過癮,於是想手動從零開始安裝。鬱悶的是,到安裝zookeeper的時候,在http://archive.clouder

原创 Spark定製班第1課:通過案例對Spark Streaming透徹理解三板斧之一:解密Spark Streaming另類實驗及Spark Streaming本質解析

本期導讀: 1 Spark源碼定製選擇從SparkStreaming入手; 2 Spark Streaming另類在線實驗; 3 瞬間理解Spark Streaming本質。 今天是Spark定製班的第1課,這一課將成爲我們未來發布S

原创 IMF傳奇行動第84課:Spark Streaming第三課:StreamingContext、DStream、Receiver深度剖析

 本課分成四部分講解: 第一部分對StreamingContext功能及源碼剖析; 第二部分對DStream功能及源碼剖析; 第三部分對Receiver功能及源碼剖析; 最後一部分將StreamingContext、DStream、R

原创 IMF傳奇行動第86課:Spark Streaming第五課:Spark Streaming數據源Flume實際案例分享

 本課分三部分內容: 第一部分講什麼是Flume; 第二部分講Flume+Kafka+Spark Streaming應用場景; 第三部分講Kafka數據寫入Spark Streaming有兩種方式。 一、什麼是Flume

原创 Spark定製班第3課:通過案例對SparkStreaming透徹理解三板斧之三:解密Spark Streaming運行機制和架構進階之Job和容錯

 本期內容: 1 解密Spark Streaming Job 架構和運行機制 2 解密Spark Streaming Job 容錯架構和運行機制 1 解密Spark Streaming Job 架構和運行機制 理解Spar

原创 Spark定製班第4課:Spark Streaming的Exactly-Once的事務處理和不重複輸出徹底掌握

 本期內容 1 Exactly-Once事務處理 2 輸出不重複的解決辦法 1 Exactly-Once事務處理 1)什麼是Exactly-Once事務? 數據僅處理一次並且僅輸出一次,這樣纔是完整的事務處理。 以銀行轉帳爲例,

原创 Spark定製班第6課:Spark Streaming源碼解讀之Job動態生成和深度思考

 Spark Streaming Job動態生成三大核心 JobGenerator:負責Job生成JobSheduler:負責Job調度ReceiverTracker:獲取元數據JobGenerator在構造的時候有一個核心的參數是j