原创 【數據結構與算法】圖論-你曾虐我千百遍,我卻待你如初戀

作爲數據結構中最難的一個結構,圖。可以說是折磨了筆者整個大學時光。本想着終於可以擺脫了,誰能想到陰差陽錯的,要去做這個DAG。 基礎概念 有向無環圖 有向無環圖指的是一個沒有迴路的有向圖,簡單的說就是沒有撤退可言。在圖論中,如果

原创 大數據框架開發基礎之Sqoop(1) 入門

Sqoop是一款開源的工具,主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞,可以將一個關係型數據庫(例如 : MySQL ,Oracle ,Postgres等)中的數據導進到

原创 【大數據計算引擎-Flink】從WordCount看Flink(上)

老夫被安排寫Flink也有幾個月了,雖然一來就是寫的FlinkSQL一塊的內容,但是寫的似乎都忘了Flink的主流那就是流處理了。正好自己的入門項目也不曾做個Flink的WordCount,再加上老夫最近想看看Flink的源碼程序

原创 【設計模式】設計模式的七大原則-1

在我們的稱後續的編寫過程中,我們會面臨着來自耦合。內聚性以及可維護性,可擴展性,重用性,靈活性等多方面的挑戰,設計模式爲了讓程序具有更好的: 代碼重用性(即相同功能的代碼,不用多次編寫) 可讀性(即:編程規範,便於其他人閱讀理解

原创 【Java學習筆記】MybatisPlus 入門,這篇就夠了

文章目錄簡介特性開始入門CRUB 的使用Insert 的插入操作主鍵策略Plus默認的主鍵策略是:`ID_WORKER`主鍵自增Update樂觀鎖Select分頁Delete性能分析配置插件參數說明Config配置`SpringB

原创 【大數據運維監控】Prometheus 可視化頁面 Grafana

文章目錄基本概念Data SourceOrganizationUsers小結代碼總結 Grafana 其實是沒什麼好講的,這裏記錄下也是因爲這個星期在做這個Grafana的多租戶設置以及Grafana 服務器的分發,所以也就簡單的

原创 【大數據計算引擎-Spark】 Spark 內核解析-下

Spark內核泛指Spark的核心運行機制,包括Spark核心組件的運行機制、Spark任務調度機制、Spark內存管理機制、Spark核心功能的運行原理等,熟練掌握Spark內核原理,能夠幫助我們更好地完成Spark代碼設計,並

原创 【大數據計算引擎-Spark】 Spark 內核解析-上

Spark內核泛指Spark的核心運行機制,包括Spark核心組件的運行機制、Spark任務調度機制、Spark內存管理機制、Spark核心功能的運行原理等,熟練掌握Spark內核原理,能夠幫助我們更好地完成Spark代碼設計,並

原创 【Java學習筆記】一張圖帶你入門JVM

文章目錄一張圖走進JVM內存體系堆新生代老年代方法區Java8 與元數據程序計數器JVM棧(JVM Stacks)本地方法棧(Native Method Stacks)總結 進入公司不久,一同事問我,你知道怎麼查看JVM的內存溢出

原创 【大數據運維監控】使用CortexAPI 實現Cortex的基本操作

在第一次接觸這個 Cortex 的時候,必須承認,筆者在網上能找到的資料甚少,逼着筆者一點一點的看官網,真的是受不了了。這裏,筆者重點講一下,官網API中的筆者遇到的一些坑,以及我們去使用這些API。 目前筆者在網上找到的資料基本

原创 【Go】接口的定義與使用

Go 裏面的接口,絕對是我入坑程序員以來覺得最坑的一個東西了。爲什麼說它坑,就是怎麼看怎麼彆扭。 說明 Go 中的接口是由使用者來定義的。這和傳統的 接口 有點不一樣(當然我們在開發的過程中可以根據具體的情況去決定誰用接口) 看

原创 【大數據運維監控】使用 Cortex 實現 Prometheus 的多租戶管理

我們都知道,Prometheus 是一個監控和可觀察性的一個標準解決方案。這裏呢,我也不準備去介紹 Prometheus 是什麼,我們直接切入到我們主題。我們怎麼使用 Cortex 實現Prometheus 的多租戶的管理的一個平

原创 【設計模式】工廠模式-5

工廠模式(Factory Pattern)是 Java 中最常用的設計模式之一。這種類型的設計模式屬於創建型模式,它提供了一種創建對象的最佳方式。 在工廠模式中,我們在創建對象時不會對客戶端暴露創建邏輯,並且是通過使用一個共同的接

原创 【大數據運維監控】Prometheus 內置的一些 Metrics

在使用 Prometheus 的時候,我們總會遇到 Prometheus 自身的監控指標,有些指標是需要結合到這些 指標來進行分析的嗎,這裏簡單的收集點 Prometheus 的自身的指標。 運行時的狀態 Prometheus

原创 【大數據技術棧】從Yarn的OOM去探索未知的奧祕

我發現我真的是上天的寵兒,在我手上,Yarn的虛擬內存居然崩了,是的,它崩了。我這本來就是個測試的集羣,數據量也不大。一次開的內存也不大,但是它崩了,虛擬內存崩了。請看案例分析。 案件回放 事情的經過是這樣的: 因爲需要,Yar