原创 Storm常見模式——流聚合及 timecachemap的使用

轉自:http://www.cnblogs.com/panfeng412/archive/2012/06/04/storm-common-patterns-of-stream-join.html 流聚合(stream join)是指將

原创 mysql btree與hash索引的適用場景和限制

轉自: http://www.cnblogs.com/xiaoboluo768/p/5164342.html btree索引: 如果沒有特別指明類型,多半說的就是btree索引,它使用btree數據結構來存儲數據,大多數mysql引

原创 mysql刪除大表更快的辦法

轉自: mysql在對大表做DROP TABLE 過程中,所有操作都會被HANG住。這是因爲INNODB會維護一個全局獨佔鎖(在table cache上面),直到DROP TABLE完成才釋放。在我們常用的ext3,ext4,ntfs

原创 mysql索引

轉自: http://www.cnblogs.com/dreamhome/archive/2013/04/16/3025304.html 所有MySQL列類型可以被索引。根據存儲引擎定義每個表的最大索引數和最大索引長度。 所有存儲引

原创 JAVA中calendar,date,string 的相互轉換和詳細用法

Java中calendar,date,string 的相互轉換和詳細用法 [java] view plain copy package cn.outofmemory.codes.Date;     

原创 Java 加解密技術系列之 MD5

序 上一篇文章中,介紹了最基礎的編碼方式 — — BASE64,也簡單的提了一下編碼的原理。這篇文章繼續加解密的系列,當然也是介紹比較基礎的加密方式 — — MD5,MD5 屬於單向加密算法,是不可逆的加密方式,也就是說,採用

原创 基於堆排序實現的找出N個數據的前M大數據之Java實現

一個10G的關鍵詞的log,找出詞頻最高的前K個詞,設可用內存爲2G左右     分析:     本題的難點主要有兩處,一是如何在有限內存下對大文件進行詞頻統計;二是如何在有限內存的下找出詞頻的前K大個詞。 1)詞頻統計    

原创 Java 加解密技術系列之 SHA

序 上一篇文章中介紹了基本的單向加密算法 — — MD5,也大致的說了說它實現的原理。這篇文章繼續之前提到的單向加密,主要講的是 SHA,同 MD5 一樣,SHA 同樣也是一個系列,它包括 SHA-1,SHA-224,SHA-256

原创 linux awk命令詳解

原文鏈接 : http://blog.chinaunix.net/uid-23302288-id-3785105.html   awk是行處理器: 相比較屏幕處理的優點,在處理龐大文件時不會出現內存溢出或是處理緩慢的問題,通常用來格式

原创 springmvc的執行流程詳解

原文鏈接:http://blog.csdn.net/u014010769/article/details/47354529 1.什麼是MVC MVC是Model View Controller的縮寫,它是一個設計模式  2.

原创 hive 的幾種存儲格式

Hive文件存儲格式 1.textfile textfile爲默認格式 存儲方式:行存儲 磁盤開銷大 數據解析開銷大 壓縮的text文件 hive無法進行合併和拆分 2.sequencefile 二進制文件,以<key,value

原创 LSM樹在HBase中的應用

講LSM樹之前,需要提下三種基本的存儲引擎,這樣才能清楚LSM樹的由來: 哈希存儲引擎  是哈希表的持久化實現,支持增、刪、改以及隨機讀取操作,但不支持順序掃描,對應的存儲系統爲key-value存儲系統。對於key-valu

原创 spring 常用註解

常用的spring註解有如下幾種:@Controller @Service @Autowired @RequestMapping @RequestParam @ModelAttribute @Cacheable @CacheFlush @

原创 linux sort,uniq,cut,wc命令詳解

轉自:http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858385.html sort sort 命令對 File 參數指定的文件中的行排序,並將結果寫到標準輸出。如果 Fil

原创 MySQL兩種引擎的區別

Innodb引擎 Innodb引擎提供了對數據庫ACID事務的支持,並且實現了SQL標準的四種隔離級別。該引擎還提供了行級鎖和外鍵約束,它的設計目標是處理大容量數據庫系統,它本身其實就是基於MySQL後臺的完整數據庫系統,MySQL運行