原创 storm初識

Storm集羣的組成 strom集羣與hadoop集羣表面上看還是很相似的。例如:在hadoop上你運行"MapReduce jobs",而在storm上運行的是"topologies"。"Jobs"和"topologies"是不一樣的-

原创 PCA(Principal Components Analysis)主成分分析

全是圖片。。新手傷不起。word弄的,結果csdn傳不了。。以後改。。

原创 logistic迴歸與牛頓方法的python實現 (standford公開課程小作業)

#coding=utf-8 #文件開頭加上、上面的註釋。不然中文註釋報錯 #第一個自己學的機器學習算法、我目前只給出自己寫的代碼、註釋較多。關於logistic regression和牛頓方法的概念,這裏就不給出了。 from nump

原创 python中的map、filter、reduce函數

三個函數比較類似,都是應用於序列的內置函數。常見的序列包括list、tuple、str。 轉自:http://blog.sina.com.cn/s/blog_45ac0d0a010191rb.html 1.map函數 map函數會根

原创 Python補充05 字符串格式化 (%操作符)

Python補充05 字符串格式化 (%操作符) 作者:Vamei 出處:http://www.cnblogs.com/vamei 歡迎轉載,也請保留這段聲明。謝謝!   在許多編程語言中都包含有格式化字符串的功能,比如C和Fo

原创 python Image模塊安裝

我的系統是mac os x yosemite 10.10 一、下載源碼包 http://www.pythonware.com/products/pil/index.htm   下載最新版的PIL安裝程序 ,我下載的是tar xfz

原创 Numpy中矩陣對象(matrix)

原文地址 numpy模塊中的矩陣對象爲numpy.matrix,包括矩陣數據的處理,矩陣的計算,以及基本的統計功能,轉置,可逆性等等,包括對複數的處理,均在matrix對象中。 class numpy.matrix(data,dtyp

原创 hdu1025 Constructing Roads In JGShining's Kingdom

摘:鏈接:http://acm.hdu.edu.cn/forum/read.php?tid=15580&fpage=0&page=1假設存在一個序列d[1..9] = 2 1 5 3 6 4 8 9 7,可以看出來它的LIS長度爲5。下面

原创 推薦系統初識

1. 前言 隨着互聯網技術和社會化網絡的發展,每天有大量包括博客,圖片,視頻,微博等等的信息發佈到網上。傳統的搜索技術已經不能滿足用戶對信息發現的需求,原因有多種,可能是用戶很難用合適的關鍵詞來描述自己的需求,也可能用戶需要更加符合他

原创 Bloom Filter算法學習

傳統的哈希存儲 假設要哈希的集合爲S,它有n個元素。傳統的哈希方法是,將哈希區域組織成h(h > n)個格子的列表,每一個格子都能存儲S中的一個元素。存儲時將S中的每一個元素映射到{0, 1, … , h-1}的範圍內,然後以這個

原创 Storm Distributed RPC(DRPC)分佈式遠程過程調用

DRPC的主要作用就是利用Storm來完成那些計算密集型函數(CPU密集型函數)的實時並行計算。對於每一次函數調用,Storm topology將函數的參數當成是輸入流,並且將函數運行的結果作爲輸出流。 總體概覽 DRPC通過一個"DRP

原创 Guaranteeing Message Processing(storm 消息處理保證機制)

Storm保證spout發出來的每條消息都會被完全的處理。這篇文章描述了Storm是如何實現這一保證機制的以及作爲一個storm的使用者我們如何從storm的這種可靠性中獲益。 消息被"完整處理"的含義 由spout發出來的一個tupl

原创 Storm Trident

Trident是一個用來在storm上進行實時計算的高層抽象。它將無縫的融合超大流量以及狀態流處理使我們能夠以極低延遲進行分佈式查詢。如果你對Pig或者Cascading這種的高層批處理工具很熟悉,那麼Trident的概念就很容易理解了-

原创 storm配置概覽

Storm擁有多種配置來調整nimbus,supervisors的行爲以及運行topologies。其中有些屬於系統配置,我們無法在topology層面上進行更改(就是說有些系統配置我們是不能通過代碼來改的),其他的一些配置我們則可以通過

原创 關於最長遞增子序列的3種解法

 轉自:http://qiemengdao.iteye.com/blog/1660229  問題 給定一個長度爲N的數組,找出一個最長的單調自增子序列(不一定連續,但是順序不能亂)。例如:給定一個長度爲6的數組A{5, 6, 7,