原创 Spark常見的Transformation算子（三）
Spark常見的Transformation算子（三） 初始化數據 println("======================= 原始數據 ===========================") val data1: RD
2020-06-21 00:36:56
原创 Hadoop註解InterfaceAudience InterfaceStability
Hadoop註解InterfaceAudience InterfaceStabilityHadoop註解InterfaceAudience InterfaceStability1. InterfaceAudience2. Inte
2020-06-21 00:36:56
3
原创 MapReduce編程實例
MapReduce編程實例MapReduce編程實例1. WordCount入門案例2. 最高氣溫3. 平均工資4. 手機流量統計 MapReduce編程實例 所有MapReduce用到的日誌數據，都可以在我的github中的re
2020-06-20 23:36:52
原创 Sqoop錯誤
1. 導入時使用--split-by出錯 19/12/01 17:13:17 ERROR tool.ImportTool: Import failed: java.io.IOException: Generating splits
2020-06-20 23:36:52
原创 MapReduce—平均工資
MapReduce—平均工資MapReduce—平均工資1. 需求分析2. 解答思路 MapReduce—平均工資 我這裏是使用集羣去處理這個日誌數據，數據在我的github上，默認使用maven去管理所有的jar包 gith
2020-06-20 23:36:52
原创 啓停 Redis 集羣腳本
啓停 Redis 集羣腳本 因爲redis集羣在停止和啓動上都存在很大的繁瑣性，所以就寫了一個簡單的啓停redis集羣的腳本 關閉腳本 stop-redis.sh #!/bin/bash PORT=($1 $2) for por
2020-06-20 23:36:52
原创 Kafka的操作
Kafka的操作 主題相關操作命令格式 # 格式 [yangqi@xiaoer kafka-2.3.1]$ ./bin/kafka-topics.sh --zookeeper xiaoer:2181,yangqi1:2181,ya
2020-06-20 23:36:52
原创 Hbase之TTL
Hbase之TTLHbase之TTL（Time To Live）1. 前言2. 創建表emp進行測試3. 總結 Hbase之TTL（Time To Live） 1. 前言 今天剛剛接觸了Hbase一些知識，對其中的TTL（Time
2020-06-20 22:29:17
原创 Hive整合Hbase之後數據的存儲位置淺談
Hive整合Hbase之後數據的存儲位置淺談Hive整合Hbase之後數據的存儲位置淺談1. 創建hive表2. 進入Hbase查看數據3. 在Hive中查詢這個表的數據4. 退出客戶端5. 總結 Hive整合Hbase之後數據的
2020-06-20 22:29:06
原创 Hbase錯誤
1. 啓動HBase時報錯 2019-11-24 18:14:29,709 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting jav
2020-06-20 22:29:06
原创 虛擬機中安裝CentOS7
虛擬機中安裝CentOS7 安裝CentOS7虛擬機 新建虛擬機 選擇自定義高級 點擊“下一步” 繼續“下一步”，選擇操作系統 點擊“下一步”，設置虛擬機名稱以及安裝位置 選擇CPU核心數和CPU個數 點擊下一步，設置
2020-06-20 22:29:06
原创 ElasticSearch-7.3.0 進階語法
ElasticSearch-7.3.0 進階語法 elasticsearch官方文檔 字段類型 # Text：被分析索引的字符串類型 # Keyword：不能被分析只能被精確匹配的字符串類型 # Date：日期類型，可以配置 fo
2020-06-20 22:29:06
原创 準實時索引搭建canal
準實時索引搭建canal canal 是阿里的一款中間件，source 爲 mysql，target 爲其他存儲，阿里的 canal 藉助於 mysql 主備同步的機制，僞裝成 mysql 的一個備庫，去感知 mysql 當中的
2020-06-20 22:29:06
原创 Hbase shell常見語法
Hbase shell常見語法Hbase shell常見語法1. hbase-namespace2. hbase-table Hbase shell常見語法 連接到hbase shell hbase shell位於Hbase目錄
2020-06-20 22:29:06
1
原创 使用IDEA和SBT構建Spark程序
使用IDEA和SBT構建Spark程序 1. 打開IDEA創建一個Scala項目，選擇sbt 2. 選擇合適的sbt版本和scala版本 3. 創建完成之後會從遠程服務器拉取一些項目的信息，可能比較慢 4. 完成後的項目結構
2020-06-20 22:29:06