原创 商業智能遇到大數據

時下大數據大熱,而且這股熱潮可謂來勢洶洶。在相關廠商、投資方以及衆多第三方機構的鼓動下,越來越多的用戶摩拳擦掌、躍躍欲試。   雖然眼下各家關於大數據的宣傳重點各有不同,但描繪的前景基本相同,即通過數據探查、數據分析及數據展示等相關技術

原创 Erasure Code相關

0.  伽羅華域(Galois Field,GF,有限域)乘法運算 1. EC 原理 1.1 伽羅華域(Galois Field,GF,有限域)乘法運算 普通實數乘法變爲伽羅華域上加法運算,加法則用異或就可以了。 當 GF(2m)

原创 Erasure code 代替RAID的案例

Microsoft、Google、Facebook的erasure code技術進展及系統分析 http://blog.sina.com.cn/s/blog_999d1f4c0101e160.html 數據規模龐大(目前google

原创 並行編程基礎之CPU架構理解 SMP/MPP/NUMA/SMT/CMP

  集羣架構 l  SMP/MPP/NUMA都是cpu級別的架構,區別是在於訪問內存,I/O和外部中斷等資源方式的不同。SMP是對稱訪問和共享訪問所有資源,MPP是獨立訪問各自資源,完全沒有共享資源,如果是綜合則是NUMA(部分本地內存/

原创 Cassandra Hbase MongoDB 三者性能比較

結論:譬如專利搜索引擎用MongoDB好(專利是一次寫,多次讀),  在線應用系統用cassandra . 這是一篇基於亞馬遜雲平臺上對三個主流的NoSQL數據庫性能比較,在讀寫兩個操作不同的組合情況下性能表現不同。 橫座標是吞吐量,

原创 HBASE cassandra 本質上其實都是KEY -VALUE(非關係型) 的行式存儲數據庫 而列式數據庫可以是關係型的。

筆者曾經對 hbase cassandra, bigtable等說成是 列式存儲也是疑惑過很久。 1. 列式存儲數據庫(Column-oriented database)一般也叫做列式數據庫。 你可以看下具體的定義,而且列式存儲大部

原创 跨機房的hadoop集羣

http://www.cppblog.com/whspecial/archive/2013/10/27/203940.html 首先需要說明一點,跨機房hadoop可能應用場景並不是很多,國內像BAT這種巨頭也許需要,但是大部分的

原创 cassandra 學習心得

//bookmark http://sergeyenin.com/apache-cassandra-1-1-part-1-basic-architecture 1. 數據模型:key-value, column family, key

原创 TSX之有限事務內存,TSX之鎖消除技術 和 lock free 編程之比較(有效總結)

TSX(事務同步擴展) TSX是新一代Haswell架構上,通過硬件支持的事務性內存(Transactional Memory)解決方案。HLE和RTM都在事務的基礎上實現的硬件技術手段。一句話概括Intel的事務性同步擴展(Transa

原创 openstack 不適合做公有云

A. 季昕華:由於有一系列大公司的支持,加上OpenStack本身的架構設計的非常不錯,OpenStack最近幾年社區很活躍,發展也非常快速,爲雲計算的落地推廣起到了很大的作用。不過從我們來看,我們不擔心OpenStack在公有云領域的

原创 新年思考: 結合當年的PC時代思考現在的手機APP

  新年思考: 手機APP。 每次下載APP,無論是閱讀、遊戲還是安全等,好多都要我手機中的各種權限,更無法接受的是好多信息或多或少的都被收集了。 現在的手機已經全面進入了智能機的年代,已經是個可攜帶的MINI電腦了。智能機在有了通用操

原创 邏輯地址(段式)-> 線性地址或者虛擬地址(頁式) -> 物理地址(頁框) 解釋 深入淺出

本貼涉及的硬件平臺是X86,如果是其它平臺,嘻嘻,不保證能一一對號入座,但是舉一反三,我想是完全可行的。一、概念物理地址(physical address) 用於內存芯片級的單元尋址,與處理器和CPU連接的地址總線相對應。 ——這個概念

原创 數據分區彙總

http://blog.csdn.net/yuzhic/article/details/1622786

原创 呼籲華爲的手機安全產品,不要互聯網行業的手機安全產品

3.15 晚會之後,手機安全問題牽動了很多人神經,也讓我們再次深刻的意識到我們的手機已經完全被任人宰割了。 手機裏面有很多我們的隱私,相當於當年的PC。當年PC的文件閱讀,多媒體處理,殺毒等基本是安全的,可是現在這些手機的免費APP到處在

原创 雲計算來襲,如果IOE(IBM, oracle, EMC)不思變革反而用私有云作救命稻草那麼IOE的沒落纔開始

  在帶寬,計算能力突飛猛進的今天,在IT設備日益複雜的今天,雲計算來了。 他在最初的IAAS, PAAS, SAAS的基礎上發展起來了。  企業的IT設施,需要購買硬件,架設機房,購買軟件,架設服務,購買ERP 架設流程,這是非常複雜和