原创 java通過api對hadoop的操作
一.文件操作 1.上傳本地文件到hadood 2.在hadoop中新建文件，並寫入 3.刪除hadoop上的文件 4.讀取文件 5.文件修改時間 二.目錄操作 1.在hadoop上創建目錄 2.刪除目錄 3.讀取某個目錄下的所有文件 三.
2020-02-21 14:42:55
原创 Hadoop 在重啓或者多次格式化後無法啓動datanode問題的解決
一.安裝好的hadoop，在重啓或者多次格式化後無法重啓datanode 通過查看日誌出現下面錯誤提示: 2013-07-09 21:02:28,129 INFO org.apache.hadoop.hdfs.server.datanod
2020-02-21 14:42:55
原创 Ubuntu 13.04 安裝JDK7
本章講述的是在ubuntu13.04下如何安裝JDK7。 1.在oracle的官方網站下載適合本機環境的JDK http://www.oracle.com/technetwork/java/javase/download
2020-02-21 14:42:55
原创 Ubuntu13.04安裝SSH，以及配置多臺電腦之間無密碼登陸
本章講述的是在ubuntu13.04中如何安裝SSH已經配置，多臺電腦之間的無密碼登錄 1.安裝SSH 在ubuntu13.04的終端中輸入:sudo apt-get install ssh 根據提示安裝SSH； 可以在用戶根目錄下通過命
2020-02-21 14:42:55
原创 hbase介紹
hbase 介紹 一、簡介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototyp
2020-02-21 14:42:55
原创 HBase建表的基本命令
1.啓動HBase外殼環境（shell）：hbase shell 2.新建一張表“test” 要新建一個表，必須對你的表命名，並定義模式。一個表
2020-02-21 14:42:55
原创 Hive0.10.0安裝和配置
一.安裝 1.下載http://apache.fayea.com/apache-mirror/hive/hive-0.10.0/hive-0.10.0.tar.gz 2.解壓到當前用戶的hive目錄下：tar -zxvf hive-0.1
2020-02-21 14:42:55
原创 hadoop 0.20.2中hbase 0.90.5的完全分佈式安裝
本文是介紹如何在hadoop 0.20.2上進行hbase 0.90.5的完全分佈式安裝。 一。先介紹當前環境情況 JDK7+Hadoop 0.20.2 本集羣有三個節點，分別爲： 二。HBase的安裝 1.下載hbase 0.90.5
2020-02-21 14:42:55
原创 Hadoop 權威指南中氣象術語的解釋
STN---WBAN 氣象站號 YEARMODA 年月日 TEMP 氣溫 DEWP 露點（dew point） SLP 海平面氣壓（Sea leve
2020-02-21 14:42:55
原创 Hadoop中的Streaming對linux的操作
如何使用Hadoop提供的Streaming，我們可以通過Linux中的命令來實驗，比如查看一個文件中的數字統計可以使用下面的命令: cat sample.txt | wc 其中sample.txt表示需要統計的文件，|表示管道，wc統計
2020-02-21 14:42:55
原创 Ubuntu13.04安裝Hadoop集羣環境
1.配置hosts 通過命令:sudo vim /etc/hosts,按照實際情況配置hosts 2.安裝JDK，具體可以參考網上：http://blog.csdn.net/long1657/article/details/926594
2020-02-21 14:42:55
原创 Flink一致性保證實現剖析
概述 Flink通過快照機制和Barrier來實現一致性的保證，當任務中途crash或者cancel之後，可以通過checkpoing或者savepoint來進行恢復，實現數據流的重放。從而讓任務達到一致性的效果，這種一致性需要開啓exa
2019-06-28 20:07:06
原创 Hadoop與HBase的一些特殊操作命令
Hadoop與HBase的一些特殊操作命令 1.將hbase數據庫中的表導出到hdfs中的命令: Hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <output d
2018-08-25 05:40:43
8
原创 基於hadoop搜索引擎實踐——在線處理（六）
基於hadoop搜索引擎實踐——在線處理 這部分主要實現的是用戶從前臺輸入查詢請求，後臺對這些請求進行查詢和合並，最後前臺顯示結果信息的過程。 本系統實現使用jsp,服務器爲tomcat6.0,具體頁面實現這邊不再講述，主
2018-08-25 05:40:43
3
原创 ganglia在CentOS6.5的安裝
一．ganglia概述 Ganglia是UC Berkeley發起的一個開源集羣監視項目，設計用於測量數以千計的節點。Ganglia的核心包含gmond、gmetad以及一個Web前端。主要是用來監控系統性能，如：cpu 、mem、硬盤利
2018-08-25 05:40:43
1