原创 Flink中使用嵌入式ElasticSearch進行單元測試
Flink中使用嵌入式ElasticSearch進行單元測試 Flink版本 1.8.0 ElasticSearch版本 5.1.2 Scala版本 2.11.12 Java版本 1.8 Github地址：https://git
2020-07-05 23:55:09
15
原创 Mac環境下開啓Docker之旅
Mac環境下開啓Docker之旅 使用桌面版的docker已經有一段時間了，主要是在平時的開發中用以搭建各種開發環境。總的來說，在mac上使用桌面版的docker比較容易上手，桌面版也提供k8s的功能，但是開啓時總是不能成功，而且
2020-06-16 13:57:03
8
原创 Flask從0到1快速後臺服務開發
Flask從0到1快速後臺服務開發 版本說明： Python：3.7 Flask：1.0.2 前言 Flask是一個使用 Python 編寫的輕量級 Web 應用框架。其 WSGI 工具箱採用 Werkzeug ，模板引擎
2020-06-16 13:57:03
1
原创 Java封裝Azkaban相關API
Java封裝Azkaban相關API 版本說明： azkaban：3.43.0 jdk：1.8 項目地址：https://github.com/shirukai/azkaban-java-api.git 1 前言 之前在項目開
2020-06-16 13:57:03
3
原创 Python使用subprocess開啓新進程之旅
Python 使用subprocess開啓新進程之旅 版本說明：Python2.7 感覺好久沒有寫博客了，最近接連兩項工作，忙的不亦樂乎，難得空檔期，做一下筆記總結。同樣是工作中遇到的問題，簡單描述一下：有這樣一段腳本，它執行
2020-06-16 13:57:02
13
原创 調試Local模式下帶狀態的Flink任務
調試Local模式下帶狀態的Flink任務 Flink版本: 1.8.0 Scala版本: 2.11 Github地址：https://github.com/shirukai/debug-flink-state-example.
2020-06-16 13:57:02
16
原创 Flink DataStream API之Operators
Flink DataStream API之Operators 官網位置：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/stream/opera
2020-06-16 13:57:02
原创 Flink DataStream API之State
DataStream API 之State 無論StructuredStreaming還是Flink在流處理的過程中都有一個“有狀態計算“的概念，那麼到底什麼是有狀態計算，有狀態計算應用到什麼場景，在Flink的DataStrea
2019-10-25 18:27:08
3
原创 從CDH Agent錯誤日誌學習Python拆包語法
從CDH Agent錯誤日誌學習Python拆包語法 國慶七天長假回來上班，遲遲沒有進入工作狀態，可能祖國的強大，讓我不自覺的也飄了起來，哈哈，該收拾收拾心情，爲祖國之繁榮而努力加班掙money了。今天通過解決公司開發環境的一個問
2019-10-25 18:27:08
原创 RPC框架初體驗之Dubbo
RPC框架初體驗之Dubbo 版本描述：dubbo 2.7.2 Dubbo是阿里開源的一款RPC框架，最近在學習微服務的時候有提及到。因此對Dubbo進行了入門級體驗，這裏主要體驗體驗Dubbo的幾種配置方式，如XML配置、A
2019-08-28 18:25:06
原创 RPC框架初體驗之入門
RPC框架初體驗之入門 項目地址：https://github.com/shirukai/learn-demo-rpc.git RPC全稱Remote Procedure Call，顧名思義，遠程過程調用的意思。關於RPC的介
2019-08-28 18:25:06
原创 RPC框架初體驗之Thrift
RPC框架初體驗之Thrift 版本說明：thrfit 0.12.0 模塊說明： thrift-demo-java-api: 使用thrift生成Java api thrift-demo-java-server: Java
2019-08-28 18:25:06
原创 Spark讀取JSON的小擴展
Spark讀取JSON的小擴展 版本說明： spark 2.3 前言 前幾天在羣裏摸魚的時候，碰都一位同學問了一個比較有趣的問題，他提問：Spark如何讀取原生JSON？看到這個問題，心裏有些疑惑，Spark不是有JSON數據
2019-06-15 18:40:16
31
原创 StructuredStreaming項目開發記錄
StructuredStreaming項目開發記錄 版本說明:Spark2.4 前言 最近基於Spark Structured Streaming開發一套實時數據判別清洗系統，在開發過程接觸了一些StructuredStr
2019-06-10 20:05:15
原创 SparkSQL基於DataSourceV2自定義數據源
SparkSQL基於DataSourceV2自定義數據源 版本說明：Spark 2.3 前言：之前在SparkSQL數據源操作文章中整理了一些SparkSQL內置數據源的使用，總的來說SparkSQL支持的數據源還是挺豐富的，但業務
2019-03-01 00:57:56
15