原创 Elasticsearch和Hive整合,將hive數據同步到ES中

1 Elasticsearch整合Hive 1.1 軟件環境 Hadoop軟件環境 Hive軟件環境 ES軟件環境 1.2 ES-Hadoop介紹 1.2.1 官網 https://www.elastic.co/cn/prod

原创 Impala介紹,Impala架構,Impala安裝,impala Shell ,分區創建,refresh,load數據,獲取數據的元數據

1 Impala Impala是Cloudera公司主導開發的新型查詢系統,它提供SQL語義,能查詢存儲在Hadoop的HDFS和HBASE中的PB級大數據。已有的Hive系統雖然也提供了SQL語義,但由於Hive底層執行使用的是

原创 datax安裝+配置+使用文檔

1 DataX離線同步工具DataX3.0介紹 DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平臺,實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、Tab

原创 Apache Tez介紹,術語,安裝,監控等

目錄 1 Apache Tez 1 1.1 Apache Tez介紹 1 1.2 術語介紹 1 1.3 軟件準備 2 1.4 設置tez-ui 3 1.4.1 找到war包 3 1.4.2 將tez-ui部署在tomcat 4 1

原创 設計模式大全

https://www.runoob.com/design-pattern/chain-of-responsibility-pattern.html

原创 Error: recoverUnfinalizedSegments failed for required journal

轉自:https://blog.csdn.net/dudefu011/article/details/78463207# 一、問題描述 HA按照規劃配置好,啓動後,NameNode不能正常啓動。剛啓動的時候 jps 看到了NameNo

原创 phoenix+hbase+Spark整合,Spark處理數據操作phoenix入hbase,Spring Cloud整合phoenix

1 版本要求 Spark版本:spark-2.3.0-bin-hadoop2.7 Phoenix版本:apache-phoenix-4.14.1-HBase-1.4-bin HBASE版本:hbase-1.4.2 上面的版本必須是對

原创 docker虛擬化技術文檔(自己總結最全版本)

目錄 1 使用Docker虛擬化出一個Centos7操作系統(140、141機器上執行) 2 1.1 Docker安裝 3 1.1.1 支持的操作系統 3 1.1.2 前提條件 3 1.1.3 使用yum安裝(CentOS7下) 3

原创 騰訊雲下使用docker一步步虛擬出可運行的線上環境

1 騰訊雲磁盤掛載和格式化 Linux下磁盤掛載(騰訊雲掛載方式) https://www.cnblogs.com/stulzq/p/7610100.html 格式化分區: https://blog.csdn.net/nahancy/

原创 hive表,hive視圖,spark處理數據入mysql,shell獲取url數據下載json,Spark sql處理json,shell腳本執行kylin,azkaban任務調度

1 Spark獲取json數據,並將json數據存hive庫 hive表建立Demo --如果存在hive表,直接刪除這個hive表。 drop table if EXISTS tb_trade_info; --創建hive表(第一次

原创 rap2搭建,mysql,redis,nginx安裝,node環境安裝,rap2安裝

所需環境 1、mysql 2、redis 3、nginx安裝 4、npm/nodejs環境 5、rap2-delos端安裝 6、客戶端dolores環境搭建 1、mysql安裝 CentOS7的yum源中默認好像是沒有mysql的。爲

原创 最簡單的kafka demo案例

1、kafka版本:kafka_2.11-1.0.1 2、配置pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org

原创 SpringCloud Finchley基礎教程:3,spring cloud gateway網關

轉:https://blog.csdn.net/ifrozen/article/details/80016566

原创 MyBatis-Plus通過插件將數據庫表生成Entiry,Mapper.xml,Mapper.class的方式

今天小編就爲大家分享一篇關於MyBatis-Plus通過插件將數據庫表生成Entiry,Mapper.xml,Mapper.class的方式,小編覺得內容挺不錯的,現在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧

原创 安裝elasticsearch-analysis-ik中文分詞器的步驟講解

今天小編就爲大家分享一篇關於安裝elasticsearch-analysis-ik中文分詞器的步驟講解,小編覺得內容挺不錯的,現在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧 1 安裝elasti