原创 Hive2.1.1安裝
1 安裝JDK請參照jdk的安裝步驟。 2 安裝Hadoop請參照hadoop安裝步驟。 3 下載Hive下載地址：http://mirrors.tuna.tsinghua.edu.cn/apache/hive/在該地址下載穩定版本的hiv
2019-05-04 13:07:40
原创 Kafka安裝部署
1下載並安裝JDK 參考jdk的安裝，需要jdk1.6+。2 Kafka的安裝 2.1 下載kafka 下載地址：http://mirrors.hust.edu.cn/apache/kafka/0.10.0.1
2019-02-22 14:11:35
原创 Hadoop機架感知
背景 最近在整理以前學過的大數據相關知識，今天從Hadoop的機架感知開始，Hadoop機架感知的實現有2種方式：1）、通過實現一個Java接口DNSToSwitchMapping，然後在core-site.xml配置文件中配置net.to
2019-02-22 14:11:33
原创 Centos7安裝Python2.7
1、刪除現有Python[root@test ~]# rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps ##強制刪除已安裝程序及其關聯[root@test ~]# whereis
2018-12-17 12:57:03
原创 Flume+Kafka+Zookeeper搭建大數據日誌採集框架
1. JDK的安裝 參考jdk的安裝，此處略。2. 安裝Zookeeper 參考我的Zookeeper安裝教程中的“完全分佈式”部分。3. 安裝Kafka 參考我的Kafka安裝教程中的“完全分佈式搭建”部分。4.
2018-09-11 09:19:50
2
原创 win8+python2.7+Eclipse開發spark環境搭建
最近在學習Spark的機器學習，由於在機器學習方面Python語言表現不俗，故我選擇使用Python語言作爲Spark機器學習的開發語言，也爲後續的深度學習打下基礎，故下面是在windows8.1下搭建eclipse4.4.2+Py
2018-09-11 09:19:50
原创 Windows8.1+Eclipse搭建Hadoop2.7.2本地模式開發環境
下面介紹如何在Windows8.1上搭建hadoop2.7.2的本地模式開發環境，爲後期做mapreduce的開發做準備。在搭建開發環境之前，首先選擇開發工具，就是大家都很熟悉的Eclipse（本人這次使用的是eclipse4.4.2版本）
2018-09-11 09:19:49
原创 Hadoop機架感知
背景 最近在整理以前學過的大數據相關知識，今天從Hadoop的機架感知開始，Hadoop機架感知的實現有2種方式：1）、通過實現一個Java接口DNSToSwitchMapping，然後在core-site.xml配置文件中配置net.to
2018-09-11 09:19:49
10
原创 VirtualBox遇到錯誤：創建 COM 對象失敗. 應用程序將被中斷. 被召者 RC:REGDB
今天打算裝一個VM vare的虛擬機可裝完後，原來在電腦裏安裝的VirtualBox顯示錯誤： 創建 COM 對象失敗. 應用程序將被中斷. 被召者 RC:REGDB_E_CLASSNOTREG (0x80040154) 令我很是惆
2018-09-11 09:19:49
67
原创 Zookeeper的安裝部署
1. 安裝JDK參考jdk的安裝。2. ZooKeeper安裝2.1. 單機模式2.1.1. 下載並安裝ZooKeeper 步驟： 1） 在下載地址：http://mirrors.tuna.tsinghua.e
2018-09-11 09:19:48
3
原创 Hadoop2.7.2的三種安裝模式
虛擬機使用的oracle vm，安裝的操作系統是centOs7本地模式1.安裝JDKHadoop是要安裝在JVM上運行的，所以都要安裝JDK。所以必須安裝JVM。1.1 下載JDK下載網址： http://www.oracle.com/te
2018-09-11 09:19:48
原创 Flume的安裝
1. 安裝JDK 參考jdk的安裝，此處略。2. 安裝Flume2.1. 下載Flume 下載地址：http://flume.apache.org/download.html 點擊鏈接：apache-flume-
2018-09-11 09:19:48
原创 Kafka安裝部署
1下載並安裝JDK 參考jdk的安裝，需要jdk1.6+。2 Kafka的安裝 2.1 下載kafka 下載地址：http://mirrors.hust.edu.cn/apache/kafka/0.10.0.1
2018-09-11 09:19:48