原创 乾貨 | 如何爲已有的 ambari 集羣修改主機名

版本:ambari 2.7.3 ,其他版本應該也差不多是一樣的 一、背景說明 時不時就有小夥伴微信裏面問我有沒有做過,爲已有的 ambari 集羣修改主機名?之前是有修改過 ip 的,主機名還真沒修改過,只能給他提供一份官方的步驟:ht

原创 徹底搞清Flink中的Window(Flink版本1.8)

flink-window 窗口 在流處理應用中,數據是連續不斷的,因此我們不可能等到所有數據都到了纔開始處理。當然我們可以每來一個消息就處理一次,但是有時我們需要做一些聚合類的處理,例如:在過去的1分

原创 NameNode 用了什麼神祕技術來支撐元數據百萬併發讀寫的

本文大綱 一、HDFS 是大數據的基石 我們都知道,HDFS 是大數據存儲的基石,所有的離線數據都存儲在 HDFS 上,而 NameNode 是存儲所有元數據的地方(所謂元數據就是描述數據的數據,比如文件的大小,

原创 Flink實時計算topN熱榜

topN的常見應用場景,最熱商品購買量,最高人氣作者的閱讀量等等。 1. 用到的知識點 Flink創建kafka數據源; 基於 EventTime 處理,如何指定 Watermark; Flink中的Window,滾動(tum

原创 Hive底層原理:explain執行計劃詳解

進入主頁,點擊右上角“設爲星標” 比別人更快接收好文章 不懂hive中的explain,說明hive還沒入門,學會explain,能夠給我們工作中使用hive帶來極大的便利! 理論 本節將介紹 explain 的用法及參數介紹

原创 【史上最全】Hadoop 核心 - HDFS 分佈式文件系統詳解(上萬字建議收藏)

1. HDFS概述 Hadoop 分佈式系統框架中,首要的基礎功能就是文件系統,在 Hadoop 中使用 FileSystem 這個抽象類來表示我們的文件系統,這個抽象類下面有很多子實現類,究竟使用哪一種,需要看我們具體的實現類,在

原创 假期馬上就要過去了,最後送一波紅包~

好 看 的皮囊千篇一律,實用的知識萬里挑一。  在信息大爆炸的時代,我們每天接收到千千萬萬條的信息 ,但有用的信息,實用的知識卻很少。 選擇一些優質的公衆號,學習技術,汲取他們的理念,化爲己用~願大家一起成長~ 爲了回饋粉絲,聯合5個

原创 過年啦,辭舊迎新中國年!

過年啦,過年啦,過年啦,辭舊迎新中國年。 除夕快樂 2020年註定是不平凡的一年,在國外疫情如此嚴重的情況下,國內疫情得到有效控制。這樣對比下來,我們更要珍惜這個來之不易的新年。 新年新氣象,在除夕

原创 新年大紅包來啦!

好 看 的皮囊千篇一律,實用的知識萬里挑一。  在信息大爆炸的時代,我們每天接收到千千萬萬條的信息 ,但有用的信息,實用的知識卻很少。 選擇一些優質的公衆號,學習技術,汲取他們的理念,化爲己用~願大家一起成長~ 爲了回饋粉絲,聯合5個

原创 乾貨 | 秒懂資源調度框架 YARN

一、第一代資源管理器爲什麼會被淘汰掉 我們知道,hadoop 主要是由三部分組成,HDFS (hadoop 分佈式文件系統),MapReduce(分佈式計算框架),還有一個就是分佈式集羣資源調度框架 YARN。 但是 YARN 並不

原创 程序員在公司毫無存在感,幾乎是空氣怎麼辦

在 IT 公司中,能夠讓程序員展現自己個人影響力的機會其實並不多,大多數程序員都只是默默搬磚,完成 TeamLeader 完成的工作任務。 而這些任務,大部分複雜度並不高,通常是增刪改查並且附帶一定的業務邏輯。 需要用到設計模

原创 2021 idea 破解新招 - 無限重置30天試用期

點擊上方藍色“大數據實戰演練”,選擇“設爲星標”或“置頂” 回覆“資源”領取獨家整理的學習資料! 每一個成功人士的背後,必定曾經做出過勇敢而又孤獨的決定。 放棄不難,但堅持很酷~

原创 聊聊程序員的核心能力

隨着互聯網和移動互聯網的快速發展,各類應用軟件(app)如雨後春筍般湧現,許多應用程序甚至成爲超級app,一些活躍用戶過億的應用程序成爲國民app,這些app的興起與程序員這個羣體密不可分。快速發展的行業、互聯網巨頭的光環、國民級的應用程

原创 HBase+ElasticSearch二級索引實踐一年後總結

前言:還記得那是2018年的一個夏天,天氣特別熱,我一邊擦汗一邊聽領導大刀闊斧的講述自己未來的改革藍圖。會議開完了,核心思想就是:我們要搞一個數據大池子,要把公司能灌的數據都灌入這個大池子,然後讓別人用 各種姿勢 來撈這些數據。

原创 “我把理財當副業,兩個月賺了3W塊”

最近我特別好奇,有多少人到現在還沒有開始理財? 我想,一直沒有開始理財,無非兩個原因,要麼對理財有“偏見”,要麼不知道怎麼理財。 沒有財,怎麼理財? 像老一輩那樣省喫儉用的金錢觀,早就不符合年輕人