原创 CentOS使用DVD光盤作爲yum軟件源
掛載DVD光驅到/mnt/cdrom 注：如果/mnt目錄下不存在cdrom，則先創建/mnt/cdrom文件夾 mkdir -p /mnt/cdrom mount -t iso9660 /dev/cdrom /mnt/cdrom
2020-06-20 21:32:18
原创 Sqoop-1.4.6的安裝和配置
準備工作 1.搭建好的hadoop分佈式系統 2.mysql-connector-java-5.1.43-bin.jar和sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz安裝包 安裝 解壓s
2020-06-20 14:19:12
原创 OpenStack組件Swift單機搭建（Keystone）
OpenStack組件Swift單機搭建（Keystone） 轉載：張大神。orzorzorz 安裝環境：Ubuntu 16.04.1 需要兩塊硬盤（一塊爲系統盤，一塊用於安裝Swift） 需要有IP地址 環
2020-06-20 14:19:12
原创 Hive-1.2.1遠程模式的安裝和配置
準備工作 1.搭建好的Hadoop分佈式系統 2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar 在mysql數據庫上創建hive數據庫用於保
2020-06-20 14:19:12
原创 Hadoop-2.5.0 完全分佈式搭建
一、準備 1.ubuntu 16.04的系統四臺（一個master節點，三個slave節點）。 2.jdk-8u121-linux-x64.tar.gz 3.hadoop-2.5.0.tar.gz 二、安裝JDK（全部虛擬機都
2020-02-22 07:52:46
原创 SSH免密碼登陸
生成密鑰對 ssh-keygen –t rsa –P '' 回車生成的密鑰對：id_rsa和id_rsa.pub 把id_rsa.pub追加到authorized_keys裏面 cat id_rsa.pub >> authoriz
2020-02-22 07:52:46
原创 關於CDH頁面下載HDFS文件地址解析出錯
錯誤情況 點擊Download出現地址解析錯誤 解決辦法 將linux中/etc/hosts文件中的集羣配置信息（ip 主機名）寫入C:\Windows\System32\drivers\etc\hosts中 Over
2020-02-22 07:52:46
原创 通過終端安裝程序apt-get install ...的時候出現錯誤
通過終端安裝程序apt-get install …的時候出現錯誤 E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavaila
2020-02-22 07:52:46
原创 關於vim編輯器
關於vim編輯器 VI：Visual Interface（可視化接口）（類似Windows記事本） VI->VIM：VIM保留了VI的所有操作並且有所升級： VIM支持多級撤銷（u撤銷） VI
2020-02-22 07:52:46
原创 關於通過Eclipse上傳文件到HDFS文件爲空的問題
解決辦法 第一種： #iptables -F 注：將每一個節點的防火牆關閉。因爲造成文件爲空的原因可能是節點與節點之間出現了訪問權限限制的問題，導致文件上傳失敗。 第二種： 將hdfs-site.xml文件中的dfs.data.
2020-02-22 07:52:46
原创 Hbase-1.2.6的安裝和配置
準備工作 1.搭建好的hadoop分佈式集羣 2.hbase-1.2.6-bin.tar.gz 安裝 1.解壓hbase-1.2.6-bin.tar.gz完成安裝 #tar -zxvf hbase-1.2.6-bin.ta
2020-02-22 07:52:46
原创 Linux中修改MySQL的用戶密碼
在MySQL系統外修改密碼 #mysqladmin -u root -p password "密碼" Enter password:[輸入原來的密碼] 在MySQL系統中修改密碼 #mysql -u root -p Enter p
2020-02-22 07:52:46
原创 Eclipse Hadoop開發環境搭建
準備工作 搭建完成的Hadoop分佈式集羣或者僞分佈式。 eclipse.zip包 hadop-2.5.0.tzr.gz包 hadoop-eclipse-plugin-2.5.0.jar插件 備用文件： hadoop.dll
2020-02-22 07:52:46
原创 Hadoop-2.5.0 僞分佈式搭建
一、準備 1.ubuntu 16.04的系統一臺。 2.jdk-8u121-linux-x64.tar.gz 3.hadoop-2.5.0.tar.gz 二、安裝JDK 1.安裝 # tar -zxvf jdk-8u121
2020-02-22 07:52:46
原创 Azkaban-2.5.0的安裝和配置
Azkaban是由LinkedIn開發的調度工具，可以用於調度Hadoop中的相互依賴的Job。有時候，在hadoop集羣中運行的Job是相互依賴的，某些任務需要順序的執行，這種場景下使用Azkaban能夠很好的解決問題。 A
2018-09-04 11:37:50