台部落大數據技術與架構

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源 Spark中的Spark Streaming可以用於實時流項目的開發，實時流項目的數據源除了可以來源於日誌、文件、網絡端口等，常常也有這

2021-04-01 21:14:51

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源一開始需要全量導入kudu，這時候我們先用sqoop把關係數據庫數據導入臨時表，再用impala從臨時表導入kudu目標表由於sqoop從

2021-03-31 21:14:43

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源數據湖是一種不斷演進中、可擴展的大數據存儲、處理、分析的基礎設施；以數據爲導向，實現任意來源、任意速度、任意規模、任意類型數據的全量獲取、全量存

2021-03-24 21:14:09

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多資源在上上一篇文章中《 ClickHouse表引擎到底怎麼選》，我們提到了ClickHouse的引擎選擇問題，本文中我們會介紹在ClickHouse中的SQL執行過程。

2021-03-22 21:17:32

你被大數據殺過熟嗎？當今企業對數據的重視度越來越高，在大數據系統架構設計層面，大數據架構師需要完成技術決策、技術選型，還需要根據不同時期的業務場景，不斷優化和演進軟件架構，最終攻克技術難點、化解技術風險，創造符合企業長期發展的大數據

2021-03-22 21:17:28

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源本文分別講述了Flink三大Connector：FileSystem Connector、JDBC Connector和Kafka Co

2021-03-22 21:17:26

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多資源國內現在有大量的公司都在使用 Elasticsearch，包括攜程、滴滴、今日頭條、餓了麼、360安全、小米、vivo等諸多知名公司。

2021-03-22 21:17:25

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多資源監控目標我們先來了解什麼是監控，監控的重要性以及監控的目標，當然每個人所在的行業不同、公司不同、業務不同、崗位不同、對監控的理解也不同，但是我們需要注意，監

2021-03-22 21:17:25

這年代，做數據的，沒人不知道 Spark 是什麼吧。作爲最火的大數據計算引擎，現在基本上是各互聯網大廠的標配了。比如，字節跳動基於 Spark 構建的數據倉庫，服務了幾乎所有的產品線，包括抖音、今日頭條、西瓜視頻等。再比如，百度基於

2021-03-22 21:17:24

這是一個充滿活力的英語學習交流羣！不限學歷、不限職業，只要你想學就能加入（社羣內會有英語直播課、課程資料、資源，還有專業八級的英語老師輔導學習、交流！）不需要收集贊、轉發、分享，掃碼就可以加入! 社羣會每天固定時間分享視頻直

2021-03-22 21:17:24

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源實時方案之數據湖探究調研筆記

2021-03-22 21:17:24

點擊上方藍色字體，選擇“ 設爲星標 ” 回覆”資源“獲取更多資源在某些場景中，例如讀取 compacted topic 或者輸出（更新）聚合結果的時候，需要將 Kafka 消息記錄的 key 當成主鍵處理，用來

2021-03-22 21:17:24

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多資源我們在之前的文章中詳細介紹過Zepplin的來龍去脈，很多大廠基於Flink開發了自己的SQL開發平臺。更多的公司可能需要選擇一種低成本接入，儘量複用開源的解決方案

2021-02-08 21:14:26

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多驚喜在小編的記憶裏，Flink 自從出現在大衆視野中，一直在高速迭代。Flink1.10版本之前因爲重大功能的缺失(主要是和Hive的兼容性)，筆者一直都不推薦直接應用在大規

2021-02-02 21:15:13

點擊上方藍色字體，選擇“設爲星標” 回覆”資源“獲取更多驚喜大數據技術與架構點擊右側關注，大數據開發領域最強公衆號！大數據真好玩點擊右側關注，大數據真好玩！

2021-01-30 09:37:49