原创 大數據三種典型雲服務模式
2016-02-20 朱潔 hadoop技術學習 大數據能力以雲服務的形式提供出來非常普遍，國際大廠aws,azure，國內阿里，華爲都有類似服務。今天討論下大數據雲服務的幾種模式。 第一種，最典型的叫集羣託管模式
2020-06-21 01:01:59
原创 AWS Redshift安全策略解讀
2016-03-19 朱潔 Redshift是aws一個mpp數據庫，採用列式存儲，性能做的還不錯。今天不打算介紹Redshift本身，更多的信息，可以到aws到官網看看，https://aws.amazon.com/cn
2020-06-20 23:00:41
原创 寫給自己的2015
2016-01-07 朱潔 hadoop技術學習 去年2015-1-2寫了一篇文章《寫給自己的2014》總結自己的一年。光陰似箭，日月如梭，一年又結束了，今天繼續想簡單紀念下自己的2015年，期待自己的2016。 201
2020-06-20 23:00:41
1
原创 Cloud_Native是什麼
Cloud_Native概念最近比較火，因此研究下到底講的是什麼含義。 Cloud_Native從概念上講核心說的是傳統的應用部署在數據中心上的架構不適合雲化的環境，要充分利用雲基礎設施的可編程性和擴展性，又要規避雲基礎設
2020-06-20 23:00:41
原创 歸來的微軟
2015-12-27 朱潔 hadoop技術學習 微軟歷史上一共3任ceo，很好的將微軟分爲3個時代。 蓋茨時代，微軟是桌面時代的霸主，當時的微軟如日中天，是一個賺錢機器，windows系列桌面佔有率超過了90%，微軟太成
2020-06-20 23:00:41
原创 spark 2.0主要特性預覽
2016-05-29 朱潔 hadoop技術學習 spark 2.0相比老版本變化很大，已經發布了預覽版本。原始的英文版databricks的博客：https://databricks.com/blog/2016/05
2020-02-23 09:06:33
原创 大數據服務上雲的思考
最近看到亞馬遜第一次單獨公佈AWS財報，一年營收57億美元，市場份額佔比第一。混合雲市場，2014年，IBM以綜合的IT能力，收入70億奪魁。雲計算喊了這麼多年，不知不覺已經變成了幾十億美元的大生意。雲計算時代真的來了！ AWS的財報可
2020-02-23 09:06:33
原创 探討微軟的混合雲
2016-03-06 朱潔 hadoop技術學習 AWS堅持公有云，只給五角大樓提供過私有云方案，其他的客戶只能使用公有云解決方案。同在西雅圖的微軟，選擇了一條完全不同的道路，首先是結合自己在企業領域長期耕耘的優勢，提供了更
2020-02-23 09:06:33
原创 初識微服務
微服務架構越來越火，有必要學習一下。 軟件開發過程中碰到什麼問題 一個簡單的應用會隨着時間推移逐漸變大。在每次的sprint中，開發團隊都會面對新“故事”，然後開發許多新代碼。幾年後，這個小而簡單的應用會變成了一個巨大的怪物。 一旦
2020-02-23 09:06:33
原创 快速理解docker
技術源頭 簡單的說Docker是一個構建在LXC之上的,基於進程容器(Processcontainer)的輕量級VM解決方案，Docker container和普通的虛擬機Image相比, 最大的區別是它並不包含操作系統內核。因此非常
2020-02-23 09:06:33
原创 大數據倉庫－增量更新
2015-12-03 朱潔 hadoop技術學習 現在是國內凌晨3點，爲了抵擋睡意，還是寫寫技術博客。今天和大家討論下大數據倉庫中的更新技術。 當前很多大數據技術，如HDFS最早設定的是數據不更新，只增量疊加。傳統數據倉庫（
2020-02-23 09:06:33
原创 Apache Eagle:實時安全監控方案
原創 2016-03-27 朱潔 hadoop技術學習 Eagle是eBay開源的一個分佈式實時安全監控方案。通過離線訓練模型集合實時流引擎監控，能立即監測出對敏感數據的訪問或惡意的操作，並立即採取應對的措施。下圖是Eagl
2020-02-23 09:06:33
1
原创 同態加密技術
2016-03-12 朱潔 hadoop技術學習 最近領導安排研究下大數據的安全，計算機安全是個系統工程，分很多層面： 1）硬件安全 2）應用軟件安全 3）操作系統安全 4）數據庫系統安全 5）網絡安全技術 涉及到具體的
2020-02-23 09:06:33
原创 智能調度：Stanford的Quasar
智能、自動化是對系統孜孜不倦的追求，尤其是在資源調度這塊。傳統的YARN/MESOS有各種資源分配算法，如DRF,capacity scheduler，fair scheduler。這些調度算法聚焦在資源的匹配和分配上面。其中最大的問題
2020-02-23 09:06:33
原创 大數據倉庫－kudu
數據倉庫裏面存儲引擎是非常重要的，存儲引擎的好壞，基本決定了整個數倉的基礎。 kudu目標 cloudera公司最近發佈了一個kudu存儲引擎。按照cloudera的想法，kudu的出現是爲了解決，hbase,parquet不
2020-02-23 09:06:33