原创 Hadoop-3.2.1完全分佈式集羣搭建
一、搭建集羣 1、準備服務器（這裏以我的3臺Centos7爲例） 1個主節點：Carlota1(192.168.33.21)， 2個子節點：Carlota2(192.168.33.22)，Carlota3(192.168.33.
2020-07-06 19:11:30
1
原创 日常問題———安裝新版zookeeper 出現Starting zookeeper ... FAILED TO START
問題描述 安裝新版zookeeper使用 /apache-zookeeper-3.6.1.tar.gz解壓後運行zoServer.sh文件時出現Starting zookeeper … FAILED TO START錯誤 解決方案
2020-07-04 04:42:17
原创 Hadoop的安裝與配置（設置單節點羣集）詳細教程
本篇博客將主要介紹如何設置和配置單節點Hadoop安裝，以便我們可以使用Hadoop MapReduce和Hadoop分佈式文件系統（HDFS）快速執行簡單的操作。 先決條件 1、本系列以Ubuntu Linux作爲開發和生產平臺
2020-07-02 07:40:32
原创 日常問題——flume連接hive時報錯Caused by: java.lang.NoSuchMethodError
問題描述： 今天新安裝的flume，使用flume來做kafka與hive對接時出現了以下兩個的錯誤： Caused by: org.apache.hive.hcatalog.streaming.ConnectionError:
2020-07-02 07:40:32
1
原创 通過Flume簡單實現Kafka與Hive對接（Json格式）
將以下存儲在kafka的topic中的JSON格式字符串，對接存儲到Hive的表中 {"id":1,"name":"小李"} {"id":2,"name":"小張"} {"id":3,"name":"小劉"} {"id":4,"n
2020-07-02 07:40:32
原创 日常問題——pdsh localhost Connection refused
問題描述： 本地安裝hadoop單機模式的時候需要啓動namenode時報錯 pdsh@xxx: localhost: connect: Connection refused 解決方案（過程）： 原因是pdsh默認採用的是rsh
2020-07-02 07:40:32
原创 日常問題———Attempting to operate on hdfs namenode as root
寫在最前注意： 1、master，slave都需要修改start-dfs.sh，stop-dfs.sh，start-yarn.sh，stop-yarn.sh四個文件 2、如果你的Hadoop是另外啓用其它用戶來啓動，記得將root
2020-07-02 07:40:32
原创 日常問題——解決mac下 ssh: connect to host localhost port 22: Connection refused
問題描述： 今天使用ssh 登陸本地時即使用ssh localhost出現了 ssh: connect to host localhost port 22: Connection refused 錯誤！ 然後在網上看了很多的解決方
2020-06-29 01:37:15
原创 Linux系列（一）：簡介與目錄結構
1、Linux簡介 1.1、起源 Linux出現於1991年，是由芬蘭赫爾辛基大學學生Linus Torvalds和後來加入的衆多愛好者共同開發完成 1.2、Linux特點 多用戶，多任務，豐富的網絡功能，可靠的系統安全，良好的可
2020-06-29 00:55:18
原创 簡單實現MySQL數據實時增量同步到Kafka————Maxwell
任務需求：將MySQL裏的數據實時增量同步到Kafka 1、準備工作 1.1、MySQL方面：開啓BinLog 1.1.1、修改my.cnf文件 vi /etc/my.cnf [mysqld] server-id = 1 bin
2020-06-29 00:55:08
原创 MongoDB（二）：MongoDB的安裝
這裏以OSX系統爲例，window和linux可以參考https://www.runoob.com/mongodb/mongodb-linux-install.html 1、我們使用 curl 命令來下載安裝： # 進入 /usr
2020-06-29 00:55:08
原创 日常問題——初始化Hive倉庫報錯com.google.common.base.Preconditions.checkArgument
問題描述： 初始化Hive倉庫報錯Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.check
2020-06-29 00:55:08
原创 Linux環境下Flume的安裝
1、在官網http://flume.apache.org/download.html下載flume的壓縮包 2、解壓到指定位置並重命名 tar -zxvf apache-flume-1.9.0-bin.tar.gz 3、配置環境
2020-06-29 00:55:08
原创 日常問題——使用Xshell 連接虛擬機報錯 Disconnected from remote host
問題描述： 使用Xshell進行連接虛擬機的操作時出現了Disconnected from remote host的錯誤！ 解決方案（過程）： 1、vim /etc/ssh/sshd_config 2、#UseDNS yes改爲U
2020-06-29 00:55:08
原创 日常問題——Mac下新建目錄報Read-only file system
問題描述： 今天在根目錄下，新建目錄時出現了Read-only file system提示爲只讀的錯誤。電腦最近並沒有非正常關機之類可能導致文件損傷的操作，但是最近倒是進行了一次系統更新。 解決方案（過程）： 從系統更新入手，發現
2020-06-29 00:55:08