原创 簡單的apachebench
最佳線程數=（(線程等待時間+線程CPU時間)/線程CPU時間）*CPU線程數 平均響應時間=(併發線程數/最佳線程數)*最佳線程數的響應時間 (小GC時間間隔/rt)*(併發線程數量*thm)<=young rt=平均響應時間
2020-06-28 17:18:03
原创 NoSql 生態系統
13.1 NoSQL其名 在給NoSQL下定義之前，我們先來試着從它的名字上做一下解讀，顧名思義，NoSQL系統的數據操作接口應該是非SQL類型
2020-06-28 17:18:01
1
原创 使用cloudera CHD3u1 —— 使用eclipse plugin提交Job
轉自：http://heipark.iteye.com/blog/1178810 Clouder CDH3B3 開始後hadoop.job.ugi不再生效，這意味着無法通eclipse plugin提交job和修改hdfs。 大家初次
2020-06-28 17:18:01
原创 hash算法及應用
第一部分：Top K 算法詳解 Hash，一般翻譯做“散列”，也有直接音譯爲"哈希"的，就是把任意長度的輸入（又叫做 預映射， pre-image），通過散列算法，變換成固定長度的輸出，該輸出就是散列值。這 種轉換是一種
2020-06-28 17:17:59
原创 注意你的hosts文件--記一次HBase問題定位
最近在部署HBase時遇到一個非常奇怪的問題：集羣有7臺機器，其中1臺Master，6臺RegionServer。但是Master只能控制其中1
2020-06-28 17:17:58
原创 Redis幾個認識誤區
轉自：http://timyang.net/data/redis-misunderstanding/ 這1年我們經歷了很多眼花繚亂的key value存儲產品的誘惑，從Cassandra的淡出(Twitter暫停在主業務使用)到HBa
2020-02-24 09:59:58
原创 Big Data 技術綜述
Big Data是近來的一個技術熱點，但從名字就能判斷它並不是什麼新詞。畢竟，大是一個相對概念。歷史上，數據庫、數據倉庫、數據集市等信息管理領域的技
2020-02-24 09:59:58
原创 用hive+hdfs+sqoop分析日誌的步驟
現在的部分工作是進行日誌分析，由於每天的日誌壓縮前80多G左右，用lzop壓縮後10G左右，如果用shell直接進行統計，需要花費很長時間才能完成，而且還需要用java函數對request url進行轉換，於是採用hive+hdfs+sq
2020-02-24 09:59:58
1
原创 淘寶數據魔方技術架構解析
淘寶網擁有國內最具商業價值的海量數據。截至當前，每天有超過30億的店鋪、商品瀏覽記錄，10億在線商品數，上千萬的成交、收藏和評價數據。如何從這些
2020-02-24 09:59:58
原创 最佳線程數
轉自：http://jjw.iteye.com/blog/703864 最佳線程數 : 性能壓測的情況下，起初隨着用戶數的增加， QPS 會上升，當到了一定的閥值之後，用戶數量增加 QPS 並不會增加，或者增加不明顯，同時請求
2020-02-24 09:59:58
原创 hbase介紹
轉自：淘寶共享數據平臺博客，與前一篇有細微差別。http://www.tbdata.org/archives/1509 hbase是bigtable的開源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實
2020-02-24 09:59:58
原创 用hadoop估算圓周率PI(3.1415926)的值
轉自：http://thinkinginhadoop.iteye.com/blog/710847 暈，我算了 一、hadoop不適合計算密集型的工作 以前看過一個PPT： Hadoop In 45 Minutes or Less ，
2020-02-24 09:59:58
原创 ORA-01002 與 LockMode.UPGRADE
引言：爲了紀念將要離去的DBA，記下這個關於ORA-01002的日誌。 ORA-01002 fetch out of sequence Cause: In a host language program, a FETCH ca
2020-02-24 09:59:58
1
原创 DAL之基於mybatis的客戶端
引子：DAL作爲公司新架構獨立的數據訪問服務開始了研發。DALClient1.0暫基於mybatis3和spring3，實現了數據cache，sql攔截緩存，全局事務管理。後期將實現基於hibernate和OSGI的版本研發。一、DALC
2020-02-24 09:59:58