原创 做大數據一定要牢牢掌握的現象級技術!字節、阿里都重倉的神仙領域!

2021 年,大數據不再只是一個流行詞,而是一個強大的行業。字節跳動大數據中心足足配備了 17 萬臺服務器,阿里更是多次公開強調數據價值,並視數據爲業務線“命脈”和未來的籌碼。 如果你是一名大數據人,或打算轉向大數據方向的工程

原创 數據分析師在數據治理流程中承擔的角色

點擊上方 藍字 關注我們 數據是企業的核心資產,數據治理也是企業的核心工作之一,運用好數據能夠爲企業賦能。而在爲企業賦能的過程中,數據分析師起到了至關重要的作用。作爲初學者,理解數據治理流程能夠幫助我

原创 字節跳動 60K 大數據崗位要求曝光!DT 時代又一個風口來了?

2021 年,大數據不再只是一個流行詞,而是一個強大的行業。字節跳動大數據中心足足配備了 17 萬臺服務器,阿里更是多次公開強調數據價值,並視數據爲業務線“命脈”和未來的籌碼。 如果你是一名大數據人,或打算轉向大數據方向的工程

原创 再見,Spark!Flink 流批一體已成氣候!!!

身爲大數據工程師,你還在苦學 Spark、Hadoop、Storm,卻還沒搞過Flink?醒醒吧!剛過去的2020雙11,阿里在Flink實時計算技術的驅動下全程保持了“如絲般順滑”,基於Flink的阿里巴巴實時計算平臺簡直強·無敵。

原创 淘寶雙十一實時數據顯示——Flink重要應用之一

每秒千萬級的實時數據處理是怎麼實現的?如今越來越多的企業對數據的實時性要求很高,以電商爲例,阿里在雙 11 會豎起一面電子屏幕,實時展示淘寶數據例如成交額、訪問人數、訂單量、下單量、成交量等等。這個電子大屏的背後,就是用到我們所說的數

原创 關注了幾百個公衆號,這幾個天天看,強烈推薦

公衆號發展到今天,其種類和數量繁多,經常看的人眼花繚亂,技術圈也不例外,要從中挑出值得信賴的原創作者與優質內容,是一件很費精力的事情。 所以,今天給大家精心推薦一些行業裏做的非常用心的原創公衆號,覆蓋不同的技術領域,相信一定能給大家的成長

原创 數據即未來|1024程序員狂歡節,噹噹優惠券限量派送中...

華章圖書向通過coding改變世界的程序員們致敬。 程序員就像是一個個1024,以最低調、踏實、核心的功能模塊搭建起這個科技世界。 1024程序員節 噹噹網計算機圖書大促 >> 每滿100減50  << 滿200減100 滿300

原创 1024程序員節,自費送24本大數據書籍

以下5本是我親自挑選的數據書籍,默認從這裏挑選出來送給大家。如果大家有更想要的書籍,也可以中獎後聯繫小編進行協調,感謝你們長期對我的支持! 1.劍指offer 2.從零開始學Hadoop大數據分析 3.Spark實戰

原创 Flink 在騰訊視頻的應用實踐

獲取PDF版本 請關注“實時流式計算” 後臺回覆 “flink1021” 本文分享自微信公衆號 - 實時流式計算(RealtimeBigdata)。如有侵權,請聯繫 supp

原创 Flink快速入門--安裝與示例運行

flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示例程序的運行。 首先要想運行Flink,我們需要下載並解壓Flink的二進

原创 Kafka到底有幾個Offset?——Kafka核心之偏移量機制

​ Kafka是由LinkIn開源的實時數據處理框架,目前已經更新到2.3版本。不同於一般的消息中間件,Kafka通過數據持久化和磁盤讀寫獲得了極高的吞吐量,並可以不依賴Storm,SparkStreaming的流處理平臺,自己進行實

原创 Kafka的消息會丟失和重複嗎?——如何實現Kafka精確傳遞一次語義

我們都知道Kafka的吞吐量很大,但是Kafka究竟會不會丟失消息呢?又會不會重複消費消息呢? 圖 無人機實時監控 ​ 有很多公司因爲業務要求必須保證消息不丟失、不重複的到達,比如無人機實時監控系統,當無人機闖入機場區域,我們必須立

原创 Kafka監控工具彙總

![file](https://image-static.segmentfault.com/410/017/4100175336-5d5f6247e06a2_articlex) 對於大數據集羣來說,監控功能是非常必要的,通過日誌判斷故

原创 實時計算大數據處理的基石-Google Dataflow

​ 此文選自Google大神Tyler Akidau的另一篇文章:Streaming 102: The world beyond batch ​ 歡迎回來!如果您錯過了我以前的帖子,Streaming-大數據的未來,強烈建議您先

原创 Streaming-大數據的未來

分享一篇關於實時流式計算的經典文章,這篇文章名爲Streaming 101: The world beyond batch 那麼流計算如何超越批處理呢? 從這幾個方面說明:實時流計算系統,數據處理模式,還有大數據的未來。 一、實時流式計算系