原创 2019-02-28-Flink(5)——sink 介紹與實踐

本文轉自個人微信公衆號,原文鏈接。本博客評論系統需要梯子,大家關注下公衆號方便交流。 本文基於Apache Flink 1.7。 結合上一篇文章,Source 是 Flink 程序的輸入,Sink 就是 Flink 程序處理完Source後

原创 2019-03-09-Flink(6)——flink table & sql 介紹

本文轉自個人微信公衆號,原文鏈接。本博客評論系統需要梯子,大家關注下公衆號方便交流。 本文基於 Flink 1.7。 隨着 Hadoop 的發展,有了Hive,使用HQL 即可完成原來繁瑣的Map Reduce 程序。 隨着 Spark的發

原创 2018-12-20-flink(4)——Source介紹與實踐

本文轉自個人微信公衆號,原文鏈接。本博客評論系統需要梯子,大家關注下公衆號方便交流。 本文基於Apache Flink 1.7。 Source 就是Flink 程序的數據輸入,Flink 提供了多種數據輸入方式,下面逐一介紹。 概念 Fli

原创 2018-12-10-Flink(3)——Event Time 與 Watermark

本文轉自個人微信公衆號,原文鏈接。 如 上篇 所述,Flink 裏時間包括Event Time、Processing Time 和 Ingestion Time 三種類型。 Processing Time:Processing Time

原创 2018-11-21-Flink(2)——apache flink 介紹

本文轉自個人微信公衆號,原文鏈接。Apache Flink is a framework and distributed processing engine for stateful computations over unbounded

原创 讀《富爸爸窮爸爸》(附思維導圖)

本文轉自個人微信公衆號“星爺說事兒”,原文鏈接。 2013年推出的餘額寶,迅速火遍全國,餘額寶不僅給用戶帶來切實的收益,更是啓迪了一代人的理財意識,而我的財商學習就啓蒙於《富爸爸窮爸爸》這本書。 該書講述了清崎有兩個爸爸:“窮爸爸”是他的親

原创 讀《戰後日本經濟史》

本文轉自個人微信公衆號,搜索微信公衆號“星爺說事兒”或掃描文末二維碼,關注後發送“戰後日本經濟史”獲取思維導圖源文件。 書是 Kindle 廣告推送的,因爲和中國近些年太像了,就買來看看。 作者野口悠紀雄,1940年出生,日本大藏部(類似財

原创 2018-11-13-Flink(1)——基於flink sql的流計算平臺設計

本文轉自個人微信公衆號,原文鏈接。接上篇。使用場景先說流計算平臺應用場景。在我們的業務中,實時平臺核心包括幾個部分:一是大促看板,比如剛過去的雙11,供領導層和運營查看決策使用;二是實時風控的技術支持;三是實時數據接入、清洗、入庫功能,爲下

原创 Spark 介紹

聲明: 本文轉自我的個人博客,有興趣的可以查看原文。 轉發請註明來源。 最近工作開始接觸Spark,本系列博客可以作爲學習思考的紀錄。 如果無特殊說明,均針對Spark 2.2 。 1. Spark 介紹 1.1 Spark 是什麼 Ap

原创 Cassandra教程(二):Cassandra架構(上)

Cassandra 設計用來處理多節點大型數據工作負載,系統中沒有單點,Cassandra 採用peer-to-peer架構,數據在所有節點之間分發。 cluster中所有node具有相同的角色。每個node互相獨立,同時在內部又互相溝通

原创 Cassandra教程(三):Cassandra架構(下)

上篇介紹了Cassandra的架構、數據distribution 與 replication,本文主要介紹Cassandra的內部工作機制,包括存儲引擎、Cassandra讀寫、數據一致性等。 1. 存儲引擎 在分佈式系統中,有些系統寫數據

原创 Cassandra 教程(一): Cassandra 簡介

Overview Apache Cassandra 是一個大規模可擴展的分佈式開源NoSQL數據庫,完美適用於跨數據中心/雲端的結構化數據、半結構化數據和非結構化數據,同時,Cassandra 高可用、線性可擴展、高性能、無單點。 特點

原创 Cassandra教程(四):CQL要點整理

本文不是詳細的CQL教程,僅記錄下CQL的一些要點。 Keyspace keyspace類似關係型數據庫中的database概念,Cassandra 的 keyspace 是一個命名空間,定義了數據備份的方式。舉例如下,keyspace c