原创 sqoop自動增量導入 報錯
在Sqoop的查詢案例中可能會出現以下的報錯： [admin@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ bin/sqoop import \ > --connect jdbc:
2020-06-20 18:29:43
1
原创 Docker的安裝及Hadoop分佈式的部署
使用docker搭建部署hadoop分佈式集羣 在網上找了很長時間都沒有找到使用docker搭建hadoop分佈式集羣的文檔，沒辦法，只能自己寫一個了。 一：環境準備： 1：首先要有一個Centos7操作系統，可以在虛擬機中安裝。
2020-06-15 01:33:26
原创 Centos7下開啓80端口
[root@admin01 ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent 命令含義： –zone #作用域 –add-port=80/tcp #添
2020-06-15 01:33:26
原创 redis（一主兩從三哨兵模式搭建）記錄
目的: 讓看看這篇文章的的人能夠知道：軟件架構、軟件的安裝、配置、基本運維的操作、高可用測試、也包含我自己，能夠節省對應的時間。 軟件架構： 生產環境使用三臺服務器搭建redis哨兵集羣，3個redis實例（1主2從）+ 3個哨兵
2020-06-15 01:33:26
原创 Zookeeper啓動失敗：java.net.BindException: Address already in use
在啓動Zookeeper時候失敗：java.net.BindException: Address already in use 查看日誌信息如下所示： [ipaas@admin01 bin]$ ./zkServer.sh sta
2020-06-15 01:33:26
9
原创 CentOS上安裝Docker的詳細教程
1：首先要有一個Centos7操作系統，可以在虛擬機中安裝。 a、root賬戶登錄，查看內核版本 [root@admin01 ~]# uname -a Linux admin01 3.10.0-862.el7.x86_64 #1
2020-06-15 01:33:26
原创 關於VMware問題：無法獲得 VMCI 驅動程序的版本
今天在啓動虛擬機的時候，突然遇到下列所示的問題： 解決方法： 根據配置文件路徑找到對應的.vmx文件： 用編輯器打開，找到vmci0.present = “TRUE”一項： 將該項修改爲：vmci0.presen
2020-06-15 01:33:26
原创 Hive如何避免數據傾斜
寫SQL要先了解數據本身的特點，如果有join ,group操作的話，要注意是否會有數據傾斜 一、數據傾斜處理方法 如果出現數據傾斜，應當做如下處理： set hive.exec.reducers.max=200; set map
2020-06-15 01:33:26
原创 ElasticSearch 啓動運行報錯
在本次安裝過程中，採用的是root權限進行安裝elasticSearch，因此在啓動程序的時候出現下述所示的錯誤信息： [root@admin01 elasticsearch-5.2.2]# bin/elasticsearch [
2020-06-15 01:33:26
原创 Hive的基本數據類型介紹
1、基本數據類型 2、Struct 1）描述 hive中的 struct 和c語言中的struct類似，都可以通過“點”符號訪問元素內容。例如，如果某個列的數據類型是STRUCT{first STRING, last STRIN
2020-04-10 22:53:44
原创 hive的查詢注意事項
Hive是將符合SQL語法的字符串解析生成可以在Hadoop上執行的MapReduce的工具。使用Hive儘量按照分佈式計算的一些特點來設計sql，和傳統關係型數據庫有區別， 所以需要去掉原有關係型數據庫下開發的一些固有思維。 基
2020-03-30 04:01:00
原创 基於Docker的Hadoop完全分佈式安裝
前情回顧 之前在搭建大數據集羣的時候，一直使用的是VMware虛擬機中直接搭建集羣，這樣的操作需要考慮到硬件設備的綜合性能。今天爲大家介紹一下如何使用Docker容器中安裝Hadoop集羣，接下來將會爲大家詳細的介紹搭建的方法以及
2020-02-20 18:55:52
原创 關於VMware問題：無法獲得 VMCI 驅動程序的版本: 句柄無效。驅動程序“vmci.sys”的版本不正確......
今天在啓動虛擬機的時候，突然遇到下列所示的問題： 解決方法： 根據配置文件路徑找到對應的.vmx文件： 用編輯器打開，找到vmci0.present = “TRUE”一項： 將該項修改爲：vmci0.presen
2020-02-20 18:55:52
原创 iptables: Applying firewall rules: iptables-restore: line 13 failed [FAILED]
在使用amdin01:5601訪問瀏覽器的時候，一直不能進行正常訪問，原因是防火牆關閉，導致5601的端口不能進行正常的訪問，因此想嘗試重新開啓防火牆任務，但是開啓失敗。 [root@admin01 ~]# /etc/init.d
2020-02-20 18:55:51
3
原创 安裝ElasticHD實現對ES進行可視化監控管理
ElasticHD 支持 ES監控、實時搜索，Index template快捷替換修改，索引列表信息查看， SQL converts to DSL工具等，體驗下來感覺還是比較強大的！ **項目地址：**https://github
2019-10-25 14:32:46