原创 Intellij idea 創建Maven Spark工程
目錄 背景 正文 創建Maven工程 打包過程 添加SCALA支持 背景 Intellij idea開發Spark工程，本地依賴使用Maven進行管理，打包也是用Maven命令，依賴包需要和編譯後的源代碼
2018-09-20 01:08:04
7
原创 Flink onTime - processFunction
轉載作者：寫bug的張小天 轉載地址：https://www.jianshu.com/p/e6297fac67cb Process Function(過程函數) ProcessFunction是一個低層次的流處理操作，允許返回所有(無環的
2018-09-18 04:24:16
原创 Flink 異常處理-State和Checkpoint實踐
目錄 目錄 背景 正文 State 什麼是State(狀態)？ State類型 State理解 State實戰 CheckPointing （1）介紹，實現方式分類 （2） 使用Manage State，Flink自動實
2018-09-17 01:52:50
21
原创 FLink - 流式處理框架選型對比
轉載原文：https://blog.csdn.net/lmalds/article/details/52539590 1、需求決定引擎選型 根據馬斯洛需求層次理論，可以將流處理引擎的需求分爲以下幾種層次： 1、持續性的流處理 2、低延
2018-09-13 10:52:34
原创 Flink WaterMark（水位線）分佈式執行理解
背景 WaterMark (水印) 本質上是一個時間戳。當Flink中的運算符接收到水印時，它明白（假設）它不會看到比該時間戳更早的消息。因此，在“EventTime”中，水印也可以被認爲是一種告訴Flink它有多遠的一種
2018-09-13 04:47:48
原创 FLink 優秀的session windows使用案例-Spotify音樂推薦分析
轉載原文：https://blog.csdn.net/lmalds/article/details/69267056 轉載作者：malds李麥迪 很棒的文章，博主博文都很好，值得瀏覽 正文 1、簡介 流處理在實際生產中體現的價值越來越大，
2018-09-13 04:47:48
原创 IntelliJ IDEA中文亂碼問題彙總
1.首先是編輯器的亂碼，這個很好解決，file->settings->appearence裏面有個Name設置成支持中文的字 體(這個很重要) 同樣還要再settings中的Eidtor->File Encodings裏面設置字體編碼格
2018-09-13 04:47:48
原创 Flink Session Windows編程實戰
原文地址：https://blog.csdn.net/lmalds/article/details/52692911 正文 1、session window簡介 Flink從1.1開始支持Session window，它是屬於基於時間的窗
2018-09-06 12:11:19
原创 Flink 窗口開始結束時間與設置不符問題
問題： 1. 在WindowsFunction中，獲取窗口開始和結束時間與預設不符 2. WindowsFunction函數不觸發執行 可能原因： 1.時間格式問題： 錯誤：1536137348 正確：1536137348
2018-09-06 12:11:18
2
原创 Flink 編程實戰 - 構建程序框架
背景 Flink文檔中介紹窗口、水印和觸發器等功能偏理論，瀏覽之後對編程方式懵懵懂懂，故作如下練習，是一個基礎Flink編程框架，並不是所有Flink程序都如下程序框架所述。 理解如下代碼，需要正
2018-09-03 17:57:50
5
原创 Flink Event Time和WaterMark結合優勢分析
背景 對Event Time和WaterMark理解存在困惑，轉載一篇很棒的文章。 轉載原文：http://vishnuviswanath.com/flink_eventtime.html 翻譯原文：https://blog.csdn.n
2018-09-03 17:57:42
原创 Flink Windows窗口簡介和使用
轉載原文：https://blog.csdn.net/lmalds/article/details/51604501 Apache Flink–DataStream–Window 什麼是Window？有哪些用途？ 下面我們結合一個現實的
2018-09-03 17:57:42
1
原创 Scala併發編程基礎
轉載作者：搖擺少年夢轉載地址：https://blog.csdn.net/lovehuangjiaju/article/details/47623177本節主要內容Scala併發編程簡介Scala Actor併發編程模型react模型Ac
2018-08-24 19:48:06
原创 Spark面試彙總
原作者：徐茂盛 原博客：https://blog.csdn.net/bingoxubin/article/details/79087961 1、簡答說一下hadoop的map-reduce編程模型 首先map task會從本地文件系統讀取
2018-08-24 19:48:06
原创 Spark dataset api 列表 & 練習
背景Spark版本：2.2DataSet API網址：http://spark.apache.org/docs/2.2.1/api/java/org/apache/spark/sql/Dataset.html正文1.groupBy()a.
2018-08-24 19:48:05