原创 HDFS筆記（特點、原理與基本架構）
產生背景 以文件爲基本存儲單位的缺點 1、文件大小不同，難以實現負載均衡。 2、處理一個文件時，只能利用一個節點資源，無法動用集羣。 HFDS的定義 源自於Google的GFS論文 發表於2003年10月 HDFS是
2020-06-19 19:35:22
原创 數據結構部分
順序有序存儲的線性表，刪除重複元素 /**順序有序存儲的線性表，刪除重複元素*/ int purge(int a[], int n){ int i,k=0; if(n>1){ for(i=1; i<n; i++){ if(
2020-06-19 19:35:22
原创 Hbase訪問方式之Mapreduce
概述： Hbase對Mapreduce API進行了擴展，方便Mapreduce任務讀寫HTable數據。 一個簡單示例： 說明：從日誌表中，統計每個IP訪問網站目錄的總數 package man.ludq.hbase;
2020-02-21 03:29:10
原创 tomcat下搭建SolrCloud
solr版本：4.5.1 當前我使用三臺服務器搭建集羣分別是192.168.0.18、192.168.0.19、192.168.0.20，其中18爲主服務器，19、20爲從服務器，並且在20服務器安裝zookeeper 一、在tom
2020-02-21 03:29:09
原创 Hive筆記
概述 由facebook開源，最初用於解決海量結構化的日誌數據統計問題; 構建在Hadoop上的數據倉庫框架(使用MR進行計算，使用HDFS進行數據存儲); 把SQL查詢轉換爲一系列在Hadoop集羣上運行的MapReduce作業。;
2020-02-21 03:29:09
原创 Hbase設計以及優化
1、表的設計 1.1、Column Family 由於Hbase是一個面向列族的存儲器，調優和存儲都是在列族這個層次上進行的，最好使列族成員都有相同的"訪問模式(access pattern)"和大小特徵； 在一張表裏不要定義太多的col
2020-02-21 03:29:09
原创 linux命令之vi
(1)打開文本 vi + filename 打開文件，並將光標置於最後一行首 vi +n filename 打開文件，並將光標置於第n行首 vi filename...f
2020-02-21 03:29:09
原创 tomcat中搭建solr Cloud、日誌、多Core以及常見問題
solr版本：4.5.11、搭建solrCloud 搭建參照這個網址：http://blog.csdn.net/a221133/article/details/11819483官網：hhttp://wiki.apache.org/solr
2020-02-21 03:29:09
原创 myeclipse優化
1、用myeclipse打開JSP卡死解決方法 windows–>perferences–>general–>editors->file associations 在下方選擇一種編輯器，然後點擊左邊的default按鈕 2
2020-02-21 03:29:09
原创 Hbase部署
僞分佈式部署： [root@hadoop hadoop]#cp /home/hadoop/soft/hbase-0.94.14.tar.gz /usr [root@hadoop hadoop]#cd /usr
2020-02-21 03:29:09
原创 Hbase訪問方式之Java API
Hbase的訪問方式1、Native Java API：最常規和高效的訪問方式；2、HBase Shell：HBase的命令行工具，最簡單的接口，適合HBase管理使用；3、Thrift Gateway：利用Thrift序列化技術，支持C
2020-02-21 03:29:09
原创 Hadoop集羣部署筆記
參考網址：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1、修改hostname [root@aaa hadoop]# hostname hadoo
2020-02-21 03:29:09
原创 ZooKeeper客戶端命令
ZooKeeper服務命令: 在準備好相應的配置之後，可以直接通過zkServer.sh 這個腳本進行服務的相關操作 1. 啓動ZK服務: sh bin/zkServer.sh start2. 查看ZK服務狀態:
2020-02-21 03:29:09
原创 Hbase原理、基本概念、基本架構
概述 HBase是一個構建在HDFS上的分佈式列存儲系統； HBase是基於Google BigTable模型開發的，典型的key/value系統； HBase是Apache Hadoop生態系統中的重要一員，主要用於海量結構化
2020-02-21 03:29:09
原创 Hadoop生態系統介紹
1、Hadoop生態系統概況 Hadoop是一個能夠對大量數據進行分佈式處理的軟件框架。具有可靠、高效、可伸縮的特點。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0還包括YARN。 下圖爲hadoop的生態系統：
2020-02-21 03:29:09