原创 客戶端用java api 遠程操作HDFS以及遠程提交MR任務(源碼和異常處理)
兩個類，一個HDFS文件操作類，一個是wordcount 詞數統計類，都是從網上看來的。上代碼： package mapreduce; import java.io.IOException; import java.util.Array
2020-02-25 18:26:57
原创 MySQL核心參數和推薦配置 二
MySQL手冊上也有服務器端參數的解釋，以及參數值的相關說明信息，現針對我們大家重點需要注意、需要修改或影響性能的服務器端參數，作其用處的 解釋和如何配置參數值的推薦，此事情拖了不少時間，爲方便大家幫忙糾錯（注：總是斷斷續續寫的，可能存在
2018-09-04 07:17:58
原创 實驗hbase的test中的TestTableMapReduce類--修改成簡單易懂點的
不積跬步，無以至千里！ 這幾天狂看mapreduce對hbase進行操作的例子，消化吸收，熟能生巧，掌握mapreduce和hbase交互的各個細節，以及整體流程等，整體流程等年前寫一篇總結下，這幾天先狂看吧 看，複製，修改，運行，遇到各
2018-09-04 07:17:57
原创 用hbase(0.92版本以上）的協處理器實現快速返回查詢結果總數
在0.92版本的hbase上添加了協處理器的功能，協處理器分爲兩大部分 endpoint和observer. observer相當於一個鉤子的作用，根據鉤子運行的模塊來劃分，又分成三個 RegionObserver：用這個做數據操縱事件，
2018-09-04 07:17:57
3
原创 基於索引的SQL語句優化之降龍十八掌
不知最終出處，故未列出 1 前言 客服業務受到SQL語句的影響非常大，在規模比較大的局點，往往因爲一個小的SQL語句不夠優化，導致數據庫性能急劇下降，小型機idle所剩無幾，應用服務器斷連、超時，嚴重影響業務的正常運行。因
2018-09-04 07:17:57
3
原创 微軟推出的codehunt編碼遊戲很有意思 返回字符串中指定字符的個數
給大家推薦一個編碼遊戲 www.codehunt.com 很有意思，支持java c++ c# 舉個簡單的例子 給定字符串和一個字符，讓你返回字符串中字符的個數 一星做法：將String轉成char數組，遍歷計數: pub
2018-09-04 07:17:57
原创 測試HDFS讀性能－讀到本地緩存，不寫硬盤的性能
如果測試讀完存到本地文件的話，直接用fs.copyToLocalFile()方法即可，但是如果測試讀到緩存的性能，則需要用到FSDataInputStream 上代碼： /** * @ProjectName: Hadoop預研平臺 *
2018-09-04 07:17:57
原创 linux下的top命令參數說明 （virt,res,shr,data 的意義）
%mem 內存使用率 virt 是虛擬內存 res是常駐內存 shr是共享內存 top命令下按f鍵可以看到詳細說明 * A: PID = Process Id * E: USER = User Name * H
2018-09-04 07:17:56
17
原创 用MR(MapReduce)查詢hbase數據－用到TableMapper和Scan
首先，可以設置scan的startRow, stopRow, filter等屬性。於是兩種方案： 1.設置scan的filter，然後執行mapper，再reducer成一份結果 2.不用filter過濾，將filter做的事傳給mapp
2018-09-04 07:17:56
原创 cdh4b1之HDFS的HA(High Availability)原理簡介
0 引入 以前Hadoop版本中，NameNode是HDFS集羣的單點故障(single point of failure,SPoF)，SPoF指系統中這個部件失效或停止運轉將會導致整個系統不能工作。而這在下面兩種情況
2018-09-04 07:17:56
6
原创 用mapreduce來操作hbase的兩點優化
用MR來對hbase的表數據進行分佈式計算。有兩點配置可以優化操作，提升性能。它們分別是： (1)scan.setCacheBlocks(false); 然後調用下面這句來初始化map任務 TableMapReduceUtil
2018-09-04 07:17:56
原创 自寫filter步驟和注意事項
hbase本身提供了很多filter來實現服務器端過濾的功能，諸如 Filter, FilterBase, CompareFilter; 一些Comparators類; Comparison Filters; Dedicated Filt
2018-09-04 07:17:56
1
原创 謀定而後動，相信自己的判斷
所謂謀定，需要定謀如下幾個關鍵項： 哪一支？ 長 中 短線？ 止贏止損價？ 何時入手？ 其他一些價格點 經過幾番摸索，實踐，發現幾個以後要遵循的原則，操作止於短線，原則如下： 1.必須定止贏止損，儘量少操作，如果沒達到兩個線 2.選擇上升
2018-09-04 07:17:56
4
原创 hbase自帶mapreduce計數錶行數功能
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’ mapreduce來計數，很快的！！！
2018-09-04 07:17:56
3
原创 單元測試概述（可作爲單元測試計劃說明書的一個章節）
測試概述 1.1 測試目標 本次單元測試的目標爲通過檢查軟件內部的邏輯結構，對軟件中的邏輯路徑進行覆蓋測試;在程序不同地方設立檢查點，檢查程序的狀態，以確定實際運行狀態與預期狀態是否一致。 1.2 測試方法 本次單元測試採用白盒測
2018-09-04 07:17:50