原创 Spark如何協調來完成整個Job的運行詳解

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 恭喜你有毅力看到這裏,先複習: Spark的Cache和Checkpoint區別和聯繫拾遺 Spark Job 邏輯執行圖和數據依賴解析

原创 解除限制!阿里、美團面試真題限時下載!

之前參加了一個技術論壇,有幸認識幾位大佬,本着“近朱者赤近墨者黑”的原則,夢想有朝一日也當上大佬的我只好厚着臉皮要資料,據說有不少小夥伴靠這份祕籍成功掌握了大數據的核心技能,拿到了 BAT Offer。今天無私分享給你們,感謝的話別多說

原创 最新Hive/Hadoop高頻面試點小集合

點擊上方藍色字體,選擇“設爲星標” 回覆”資源“獲取更多資源 Hive部分: 1、Hive的兩張表關聯,使用MapReduce怎麼實現? 如果其中有一張表爲小表,直接使用map端jo

原创 Flink性能調優小小總結

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 1 配置內存 操作場景 Flink是依賴內存計算,計算過程中內存不夠對Flink的執行效率影響很大。可以通過監控GC(Ga

原创 Spark Streaming + Canal + Kafka打造Mysql增量數據實時進行監測分析

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 Spark中的Spark Streaming可以用於實時流項目的開發,實時流項目的數據源除了可以來源於日誌、文件、網絡端口等,常常也有這

原创 impala + kudu | 大數據實時計算踩坑優化指南

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 一開始需要全量導入kudu,這時候我們先用sqoop把關係數據庫數據導入臨時表,再用impala從臨時表導入kudu目標表 由於sqoop從

原创 數據湖在大數據典型場景下應用調研個人筆記

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 數據湖是一種不斷演進中、可擴展的大數據存儲、處理、分析的基礎設施;以數據爲導向,實現任意來源、任意速度、任意規模、任意類型數據的全量獲取、全量存

原创 騰訊阿里頭條翻牌子 | ClickHouse中MergeTree的存儲結構和查詢加速

點擊上方藍色字體,選擇“設爲星標” 回覆”資源“獲取更多資源 在上上一篇文章中《 ClickHouse表引擎到底怎麼選 》,我們提到了ClickHouse的引擎選擇問題,本文中我們會介紹在ClickHouse中的SQL執行過程。

原创 數據中臺最佳實踐!事件模型、調度、實時/離線數倉架構之道

你被大數據殺過熟嗎?當今企業對數據的重視度越來越高 ,在大數據系統架構設計層面,大數據架構師需要完成技術決策、技術選型,還需要根據不同時期的業務場景,不斷優化和演進軟件架構,最終 攻克技術難點、化解技術風險,創造符合企業長期發展的大數據

原创 FileSystem/JDBC/Kafka - Flink三大Connector實現原理及案例

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 本文分別講述了Flink三大Connector:FileSystem Connector、JDBC Connector和Kafka Co

原创 Elasticsearch在各大互聯網公司的應用案例

點擊上方藍色字體,選擇“設爲星標” 回覆”資源“獲取更多資源 國內現在有大量的公司都在使用 Elasticsearch,包括攜程、滴滴、今日頭條、餓了麼、360安全、小米、vivo等諸多知名公司。

原创 大數據下的精準實時監控系統 | Promethus or Zabbix?

點擊上方藍色字體,選擇“設爲星標” 回覆”資源“獲取更多資源     監控目標 我們先來了解什麼是監控,監控的重要性以及監控的目標,當然每個人所在的行業不同、公司不同、業務不同、崗位不同、對監控的理解也不同,但是我們需要注意,監

原创 提高大數據計算作業執行性能的一點建議

這年代,做數據的,沒人不知道 Spark 是什麼吧。作爲最火的大數據計算引擎,現在基本上是各互聯網大廠的標配了。   比如,字節跳動基於 Spark 構建的數據倉庫,服務了幾乎所有的產品線,包括抖音、今日頭條、西瓜視頻等。再比如,百度基於

原创 通知:程序員「英文口語交流羣」正式開放,掃碼進!

這是一個充滿活力的英語學習交流羣!不限學歷、不限職業,只要你想學就能加入(社羣內會有英語直播課、課程資料、資源,還有專業八級的英語老師輔導學習、交流!) 不需要收集贊、轉發、分享,掃碼就可以加入! 社羣會每天固定時間分享視頻直

原创 基於Flink和Druid的實時多維分析系統在蔚來汽車的應用

點擊上方 藍色字體 ,選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 實時方案之數據湖探究調研筆記