原创 實戰:實時數倉雙流join

業務場景 我的實時訂單流想要關聯另一個流的維度數據,我們該如何設計。 •A流:訂單流,從binlog中獲取下單數據,缺點是,表內維度數據缺少經緯度信息(舉例)。•B流:用戶流量信息,保存用戶的經緯度信息(舉例) 以上場景,是我們在實時數

原创 噹噹年中慶典,4折購買正版書籍最新攻略

囤書囤書我們一起閱讀經典,緊跟前沿技術不掉隊這次繼續給愛讀書的你們最大的優惠力度噹噹618年中大促,百萬自營圖書>> 每滿100減50  <<滿200減100滿300減150滿400減200不止如此!秉持絕不讓大家多花一分錢的精神華章計

原创 Flink源碼第二篇:Flink之WordCount運行流程

Flink啓動job bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 nc -l 9000 Job執行流程 先看一下Flink內部調度流程

原创 大數據面試題,唬住50k

選擇題 下面哪個程序負責 HDFS 數據存儲。 a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode HDfS 中的

原创 Flink面試題梳理

公衆號:小晨說數據 微信:weixin605405145 基礎 1. Flink最小計算單位是什麼?--slot 當一個應用被提交時,Dispatcher分發器就會啓動並將應用移交給一個JobManager。 JobManager

原创 最新中臺架構PPT,一起欣賞6位互聯網大佬的架構圖

作者簡介:目前就職於一線互聯網公司,主要是從事大數據開發工作。關注⬆️上方公衆號,及時獲取一線互聯網技術資訊。 爲什麼互聯網公司看重ppt 1月24日,新東方年會上的一曲改編歌曲《釋放自我》在各大平臺刷屏,該歌曲歌詞中出現瞭如“幹活的累

原创 企業數據倉庫概念、架構和組件

作者:杜小啥鏈接:https://www.jianshu.com/p/05a940edd8b1來源:簡書翻譯自:Enterprise Data Warehouse: Concepts, Architecture, and Compone

原创 趣頭條基於Flink+ClickHouse構建實時數據平臺

最近工作比較忙,多半個月沒更新文章,看到這個新技術,控制不住自己,趕緊給大家分享一下,後邊會????,也希望大家可以重點關注一下,我準備allin了,這個ClickHouse看各項性能都很好。

原创 缺乏數據分析思維的人,混的到底有多慘?

*文末有1元解鎖98元課程的福利,可下拉解鎖互聯網什麼最貴?答案一定是數據,互聯網的數據堪比國際原油。 像 BAT 的數據產品日活數字,動輒幾百萬上千萬甚至過億。不論是以開發功能爲目的,還是找到業務方向,玩得轉這些數據都是一個艱難的挑戰

原创 PPT畫圖軟件,強烈推薦!提升能力的利器。

能力不行,自我安慰場景一:代碼寫得好,bug少,看起來就像一個閒人註釋多,代碼清晰,任何人接手都非常方便,看起來誰都可以替代代碼寫得爛,每天風風火火改bug,各種救火,解決各種線上重大問題,於是順理成章成爲公司亮眼人才代碼亂的只有自己能

原创 Apache Flink 漫談系列 - Time Interval JOIN

說什麼JOIN 算子是數據處理的核心算子,前面我們在《Apache Flink 漫談系列 - JOIN 算子》介紹了UnBounded的雙流JOIN,在《Apache Flink 漫談系列 - JOIN LATERAL》介紹了單流與UD

原创 實時數據倉庫必備技術:Kafka知識梳理

原文鏈接:https://blog.csdn.net/litianxiang_kaola/article/details/104138183?utm_source=app 推薦語:寫的很好,kafka也是做實時流必備的技術。 爲什麼使用

原创 乾貨:一文讀懂數據倉庫設計方案

原文:https://www.cnblogs.com/skyell/p/11005666.html 作者:Skyell 轉載原因:發現好多人對數據倉庫理解的還不夠透徹,大家一起來學習一下 概述數據倉庫的特徵在於面向主題、集成性、穩定性和

原创 歐陽娜娜作息時間公開,怎樣活成所有女生羨慕的樣子

點擊上方“小晨說數據”關注本公衆號娛樂圈00後的小花中,歐陽娜娜被譽爲活成了所有女生羨慕的樣子,我想並不是因爲外貌,而是才華和勤奮。 去年中國愛樂交響樂團建團20週年系列音樂會,有一場音樂會邀請了5個2000年出生的年輕演奏家,其中大提

原创 跟我進入堆外內存的奇妙世界

作者:小程故事多鏈接:https://www.jianshu.com/p/50be08b54bee來源:簡書堆外內存一直是Java業務開發人員難以企及的隱藏領域,究竟他是幹什麼的,以及如何更好的使用呢?那就請跟着我進入這個世界吧。一、什