原创 STORM：/usr/local/lib/libjzmq.so.0.0.0: wrong ELF class: ELFCLASS64
這種問題多半是java環境變量導致的，在服務器端是64位java ，而編譯程序和運行的是32位的，檢查java的版本就OK了 # java -version java version "1.6.0_30" Java(TM) SE Runt
2020-07-07 21:57:58
1
原创 [YARN] 編程模型-MR
本文會首先介紹Yarn上如何支持MapReduce編程模型，然後再闡述在Yarn上構建的編程模型和運行時環境的方法，最後總結使用Yarn構建分佈式系統的一些高級特性。 Yarn支持MapReduce編程模型 經過對編程模型
2020-07-07 21:57:58
1
原创 hadoop集羣負載不均衡及balance工具詳解
在線上的hadoop集羣運維過程中，hadoop 的balance工具通常用於平衡hadoop集羣中各datanode中的文件塊分佈，以避免出現部分datanode磁盤佔用率高的問題（這問題也很有可能導致該節點CPU使用率較其他服
2020-07-07 21:57:58
1
原创 HBase性能優化方法總結
轉自http://blog.linezing.com/2012/03/hbase-performance-optimization 本文主要是從HBase應用程序設計與開發的角度，總結幾種常用的性能優化方法。有關HBase系統配置
2020-02-24 23:12:32
原创 hadoop使用中的幾個小細節
最近在hadoop實際使用中有以下幾個小細節分享: 1 中文問題 從url中解析出中文,但hadoop中打印出來仍是亂碼?我們曾經以爲hadoop是不支持中文的，後來經過查看源代碼，發現hadoop僅僅是不支持以gbk格式輸
2020-02-24 23:12:32
原创 YARN編程實例—distributedshell源碼分析
1. 概述 本文介紹YARN自帶的一個非常簡單的應用程序編程實例---distributedshell，他可以看做YARN編程中的“hello world”，它的主要功能是並行執行用戶提供的shell命令或者shell腳本。本
2020-02-24 23:12:32
原创 對互聯網海量數據實時計算的理解
轉自 http://www.cnblogs.com/panfeng412/archive/2011/10/28/realtime-computing-of-big-data.html 1. 實時計算的概念 互聯網領域的實時計算一般
2020-02-24 23:12:32
原创 Linux上的free命令詳解
http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html 解釋一下Linux上free命令的輸出。 下面是free的運行結果，一共有4行。爲了方便說
2020-02-24 23:12:32
原创 K-means聚類算法(非MapReduce實現)
K-means聚類算法 援引：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html 1.概念 k-means 算法接受輸入量 k ；然後將n個數
2020-02-24 23:12:32
原创 K-最鄰近算法
1.基本介紹 K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本
2020-02-24 23:12:32
原创 hadoop2.2.0編譯
安裝依賴包 這些庫啊包啊基本都會在編譯過程中用到，缺少的話會影響編譯，看到error了再找solution非常麻煩，提前裝好一勞永逸。$ sudo apt-get install g++ autoconf automake lib
2020-02-24 23:12:32
原创 HBase專題介紹6
我的廢話1: 任何一項新技術並非救命稻草，一抹一擦立馬藥到病除的百寶箱，並非使用Spring或者NOSQL的產品就神乎其神+五光十色，如果那樣基本是扯淡。同類 型產品中不管那種技術最終要達到的目的是一樣的，通過新的技術手段你往往可
2020-02-24 23:12:32
原创 hadoop shell 命令
轉自：http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454680.html 概述 所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會
2020-02-24 23:12:32
原创 terminator快捷鍵
CTRL+SHIFT+O/E 水平或者垂直新建一個窗口 CTRL+SHIFT + LEFT/RIGHT/UP/DOWN 左/右/上/下移動當前窗口 CTRL+SHIFT+s 顯示/隱藏 scrollbar CTRL+T
2020-02-24 23:12:32
原创 Storm常見模式------TimeCacheMap
Storm常見模式------TimeCacheMap Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheM
2018-09-02 06:28:57
4