原创 代碼理解Scala的模式匹配
Scala的模式匹配---結合代碼理解 object Test extends App{ /** * 關於匹配模式 一個包羅萬象的例子 */ case class Person(firstName: String,
2020-06-27 09:53:42
原创 hadoop的三大核心組件之MapReaduce
Hadoop的三大核心組件之MapReaduce MapReduce是什麼？ MR是一個分佈式計算框架，它是Hadoop的一個程序，不會產生進程。 MR部分需要結合代碼來理解學習，由於代碼篇幅原因不方便截圖，代碼已經貼到github上，註
2020-06-27 09:53:42
原创 理解HDFS文件的讀與寫過程
◆理解HDFS讀與寫過程 HDFS讀 1. 初始化FileSystem，然後客戶端(client)用FileSystem的open()函數打開文件 2.FileSystem用RPC調用元數據節點，得到文件的數據塊信息，對於每一個數據塊，元
2020-06-27 09:53:42
原创 Flume的安裝配置及使用案例
1. 安裝配置 1.1. 解壓安裝 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt mv apache-flume-1.6.0-bin flume 1.2. 配置環境變量 vim /etc/
2020-06-27 09:53:42
原创 Storm集成HBase、JDBC、Kafka、Hive
代碼參上 /** * storm集成Kafka、Hive、JDBC、HBase、HDFS * Created by sker on 17-11-13 * kafka集成storm，將數據發到JobBolt做中文分詞邏輯； * 結
2020-02-22 04:51:33
原创 工作流調度器之Azkaban
Azkaban1. 工作流調度器概述1.1. 爲什麼需要工作流調度系統一個完整的數據分析系統通常都是由大量任務單元組成：shell腳本程序，java程序，mapreduce程序、hive腳本等各任務單元之間存在時間先後及前後依賴關係爲了很
2020-02-22 04:51:33
原创 Storm的併發
Storm的併發1個worker進程執行的是1個topology的子集（注：不會出現1個worker爲多個topology服務）。1個worker進程會啓動1個或多個executor線程來執行1個topology的(spout或bolt)
2020-02-22 04:51:33
原创 結合代碼理解Scala的隱式轉換
Scala的隱式轉換 github傳送門：https://github.com/ZzzzZzreal/ScalaDemo/blob/master/src/main/scala/Day04/Demo.scala /** * Impli
2020-02-22 04:51:33
原创 Shell編程
一、Shell的HelloWorld #!/bin/bash echo “HelloWorld!” #! 是一個約定的標記，它告訴系統這個腳本需要什麼解釋器來執行，即使用哪一種 Shell。 運行方法有兩種： ./helloworld.
2020-02-22 04:51:33
原创 Storm的DRPC
Storm drpc 1.DRPC介紹 Storm是一個分佈式實時處理框架,它支持以DRPC方式調用.可以理解爲Storm是一個集羣,DRPC提供了集羣中處理功能的訪問接口.其實即使不通過DRPC，而是通過在Topoloye中的spou
2020-02-22 04:51:33
原创 Storm的調度
Storm調度調度器①EventScheduler：將系統中的可用資源均勻地分配給需要資源的topology，其實也不是絕對均勻，後續會詳細說明②DefaultScheduler：和EvenetScheduler差不多，只不過會先將其它t
2020-02-22 04:51:33
原创 DAO模式
DAO模式1）什麼是Dao？Data Access Object(數據存取對象)位於業務邏輯和持久化數據之間實現對持久化數據的訪問2）DAO模式的作用？隔離業務邏輯代碼和數據訪問代碼隔離不同數據庫的實現3）DAO模式的組成部分DAO接口D
2020-02-22 04:51:33
原创 基於ZK的Hadoop HA高可用集羣搭建
什麼是高可用 高可用性H.A.（High Availability）指的是通過儘量縮短因日常維護操作（計劃）和突發的系統崩潰（非計劃）所導致的停機時間，以提高系統和應用的可用性。HA系統是目前企業防止核心計算機系統因故障停機的最有效手段。
2020-02-22 04:51:33
原创 Hive的DML
Hive的DML---對錶的操作，load數據、增刪改查 1）load load data [local] inpath '文件路徑' [overwrite] into table datetable02; -->加載數據到對應的表，關
2020-02-22 04:51:33
原创 Scala自學代碼筆記
Scala代碼筆記 github傳送門：https://github.com/ZzzzZzreal/ScalaDemo/blob/master/src/main/scala/Day01/Demo.scala import java.uti
2020-02-22 04:51:33