原创 【Kylin】Kylin安裝與部署
目錄 前提 依賴環境 集羣規劃 安裝依賴的Hbase1.1.1 Kylin安裝部署 前提 1.安裝啓動Hadoop 2.安裝啓動zookeeper 3.安裝spark 依賴環境 軟件 版本 Apache hbase-
2020-05-15 01:42:04
1
原创 【Kylin】Kylin的介紹
目錄 介紹 使用場景 好處 Kylin的總體架構 介紹 Kylin-中國團隊研發的，是第一個真正由中國人自己主導、從零開始、自主研發、併成爲Apache頂級開源項目 Kylin的定位：對數據進行預計算/預處理，主要出現在輔助Hiv
2020-05-15 01:42:04
原创 【Yarn】配置容量調度器
目錄 隊列比例 修改capacity-scheduler.xml配置文件 將新的配置同步到集羣所有節點,重啓Yarn 提交任務 查看任務 yarn-site.xml 隊列比例 root ├── prod 生產環境 40 %
2020-05-11 13:11:55
原创 【HadoopHA】HadoopHA集羣的部署（YarnHA NamenodeHA）
目錄 準備環境 集羣部署節點角色的規劃（3節點） 安裝配置hadoop集羣 修改core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 修改slaves 將軟件拷貝到
2020-05-11 13:11:55
原创 【Yarn】Yarn運行流程 提升必看
1.client向RM提交應用程序，其中包括啓動該應用的ApplicationMaster的必須信息，例如：ApplicationMaster程序、啓動ApplicationMaster的命令、用戶程序等。 2.ResourceMa
2020-05-11 13:11:55
原创 【Yarn】配置公平調度器
目錄 添加如下屬性到yarn-site.xml 添加配置文件fair-scheduler.xml 將新的配置同步到集羣所有節點,重啓Yarn 創建相應的用戶進行測試 提交任務 查看任務 添加如下屬性到yarn-site.xml <!
2020-05-11 13:11:55
2
原创 【HadoopHA】HadoopHA的介紹 大數據提升之路
目錄 介紹 Namenode HA Yarn HA 介紹 HA(High Available), 高可用，是保證業務連續性的有效解決方案，一般有兩個或兩個以上的節點，分爲活動節點（Active）及備用節點（Standby）。通常把正在
2020-05-11 13:11:55
原创 【Hbase】hbase必須掌握的常用shell操作
目錄 常用指令 添加數據操作 查詢數據操作 更新數據操作 刪除數據以及刪除表操作 高級shell管理命令 常用指令 進入HBase客戶端命令操作界面 hbase shell 查看幫助命令 help 查看當前數據庫中有哪些
2020-05-11 13:11:55
原创 【Yarn】調度器Scheduler的詳解
目錄 介紹 FIFO Scheduler Capacity Scheduler Fair Scheduler 總結 介紹 理想情況下，我們應用對Yarn資源的請求應該立刻得到滿足，但現實情況資源往往是有限的，特別是在一個很繁忙的集羣，
2020-05-11 13:11:55
原创 【Redis】Redis安裝與部署
目錄 前提 下載redis安裝包 解壓redis壓縮包到指定目錄 安裝C程序運行環境 進行編譯redis 修改redis配置文件 啓動redis 查看redis是否啓動 連接redis客戶端 驗證是否成功 前提 本次安裝僅供學習使用，
2020-05-09 15:28:43
原创 【Redis】Redis的主從複製架構介紹與部署
目錄 介紹 node02，node03解壓redis壓縮包到指定目錄 安裝C程序運行環境 node02，node03進行編譯redis node02，node03修改redis配置文件 啓動redis 查看redis是否啓動 連接redi
2020-05-09 15:28:43
原创 【Spark Streaming】Spark Streaming整合kafka進行操作
目錄 整合Kafka兩種模式說明 spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 Kafka手動維護偏移量 整合Kafka兩種模式說明 Receiver接收方式 KafkaUt
2020-05-09 15:28:43
原创 【Scala】scala的基本語法
目錄 變量 定義變量 定義一個變量 使用類型推斷來定義變量 惰性賦值 字符串 使用雙引號 使用插值表達式 使用三引號 數據類型 運算符 scala類型層次結構 條件表達式 有返回值的if 塊表達式 for循環 for表達式 簡單循環 嵌套
2020-05-09 15:28:43
原创 【Redis】Redis各種數據類型的操作
目錄 redis當中對字符串string的操作 redis當中對hash列表的操作 redis當中對list列表的操作 redis操作set集合 redis中對key的操作 redis當中的數據庫操作 redis當中對字符串string
2020-05-09 15:28:43
原创 【Redis】初識Redis 一文帶你認識redis
目錄 介紹 NoSQL適用場景 NoSQL不適用場景 NoSQL數據庫舉例 redis的特點 redis的數據類型 介紹 Redis是一個使用C語言編寫的key-value開源的NOSQL存儲系統。（區別於MySQL的二維表格的形式存
2020-05-09 15:28:43