原创 Flink原理(一)——基礎架構

1、前言   在講Flink基本結構之前,我們的先知道Flink是什麼?中文官網上的解釋是:Apache Flink 是一個框架和分佈式處理引擎,用於在無邊界和有邊界數據流上進行有狀態的計算[1]。關於無邊界和有邊界數據流的定義可以參考官

原创 Flink原理(二)——資源

前言    本文主要是想簡要說明Flink在集羣部署、任務提交、任務運行過程中資源情況。 一、集羣部署階段   集羣部署這裏指的是Flink standalone模式,因爲在Yarn模式(包括session、single job模式也成P

原创 Flink原理(四)——任務及調度

一、任務調度   Flink是通過task slot的來定義執行資源的,爲優化資源的利用率,Flink通過slot共享,可以將多個連續的task任務組成的一個pipeline放在一個slot中運行。當任務並行度>1時,並行任務中的每個pi

原创 Flink原理(五)——容錯機制

1.  前言      流式計算分爲有狀態和無狀態兩種情況,所謂狀態就是計算過程中的中間值。對於無狀態計算,會獨立觀察每個獨立事件,並根據最後一個事件輸出結果。什麼意思?大白話舉例:對於一個流式系統,接受到一系列的數字,當數字大於N則輸出

原创 Flink學習----水印

時間 要理解水印(Wartermark),首先需要理解三個時間概念: 事件時間(Event Time) 攝入時間(Ingestion Time) 處理時間(Process Time) 事件時間是每一個獨立的事件在產生它的設備中發生的時間

原创 Flink學習----窗口

滾動窗口 滾動窗口(Tumbling Window)又稱固定窗口(Fixed Window),將事件分配到固定大小且非重疊的桶中。當超過了窗口邊界,事件就會發送到執行函數進行處理。 計數滾動窗口 基於計數的滾動窗口,定義了在出發執行之前需

原创 Flink流計算編程--watermark(水位線)簡介

1、watermark的概念 watermark是一種衡量Event Time進展的機制,它是數據本身的一個隱藏屬性。通常基於Event Time的數據,自身都包含一個timestamp,例如1472693399700(2016-09-0

原创 Flink流計算編程--watermark(水位線)簡介

https://blog.csdn.net/lmalds/article/details/52704170

原创 解析Spring中的ResponseBody和RequestBody

spring,restful,前後端分離這些關鍵詞都是大家耳熟能詳的關鍵詞了,一般spring常常需要與前端、第三方使用JSON,XML等形式進行交互,你也一定不會對@RequestBody和@ResponseBody這兩個註解感到陌生。

原创 Quartz持久化數據庫各表字段的含義

Quartz持久化到數據庫中各表字段詳解(以MYSQL數據庫爲例) QRTZ_BLOB_TRIGGERS:自定義觸發器 Trigger 作爲 Blob 類型存儲(用於 Quartz 用戶用JDBC創建他們自己定製的 Trigger 類型,

原创 Quartz源碼解析 ---- 觸發器按時啓動原理

轉自 http://blog.csdn.net/wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/42082981 從線程開始, 我們來看下QuartzSchedu

原创 Quartz集羣實戰及原理解析

轉自 https://blog.csdn.net/wenniuwuren/article/details/45866807 選Quartz的團隊基本上是衝着Quartz本身實現的集羣去的, 不然JDK自帶Timer就可以實現相同的功能,

原创 Spring Cloud之Ribbon與Nginx區別

客戶端負載均衡器  在SpringCloud中Ribbon負載均衡客戶端,會從eureka註冊中心服務器端上獲取服務註冊信息列表,緩存到本地。 然後在本地實現輪訓負載均衡策略。 Ribbon與Nginx區別 1.服務器端負載均衡Nginx

原创 nginx實現反向代理及負載均衡

版權聲明:本文爲博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/u013144287/article/details/78551398 一、反向代理 1.什麼是反向代理 通常的代理服務器,只用

原创 正向代理和反向代理的區別

分享關於在服務器代理中正向代理與反向代理的區別,在實際運用中兩者都有很大的用處,但是往往很多人並不是特別清楚他們之前的區別,先通過幾張圖片進行分析。 正向代理: 正向代理通過上面的圖理解其實就是用戶想從服務器拿資源數據,但是隻能通過pr