推薦系統開源軟件列表彙總和評點

收集和整理了目前互聯網上能找到的開源推薦系統,並附上了個人的一些簡單點評(未必全面準確),這個列表是目前爲止比較全面的了,希望對大家瞭解掌握推薦系統有幫助(文/陳運文

SVDFeature

由上海交大的同學開發,採用C++語言,代碼質量很高。去年我們參加KDD競賽時用過,很好很方便,而且出自咱們國人之手,所以置頂推薦!
SVDFeature包含一個很靈活的Matrix Factorization推薦框架,能方便的實現SVD、SVD++等方法, 是單模型推薦算法中精度最高的一種。SVDFeature代碼精煉,可以用相對較少的內存實現較大規模的單機版矩陣分解運算。
另外含有Logistic regression的model,可以很方便的用來進行ensemble運算

Crab

項目地址:
系統的Tutorial可以看這裏:
Crab是基於Python開發的開源推薦軟件,其中實現有item和user的協同過濾。據說更多算法還在開發中,
Crab的python代碼看上去很清晰明瞭,適合一讀

CofiRank

C++開發的 Collaborative Filtering算法的開源推薦系統,但似乎2009年後作者就沒有更新了,
CofiRank依賴boost庫,聯編會比較麻煩。不是特別推薦
項目地址:

EasyRec

Java開發的推薦系統,感覺更像一個完整的推薦產品,包括了數據錄入模塊、管理模塊、推薦挖掘、離線分析等,整個系統比較完備。
項目地址:

GraphLab

項目地址:
Graphlab是基於C++開發的一個高性能分佈式graph處理挖掘系統,特點是對迭代的並行計算處理能力強(這方面是hadoop的弱項),
由於功能獨到,GraphLab在業界名聲很響
用GraphLab來進行大數據量的random walk或graph-based的推薦算法非常有效。
Graphlab雖然名氣比較響亮(CMU開發),但是對一般數據量的應用來說可能還用不上

Lenskit

這個Java開發的開源推薦系統,來自美國的明尼蘇達大學,也是推薦領域知名的測試數據集Movielens的作者,
他們的推薦系統團隊,在學術圈內的影響力很大,很多新的學術思想會放到這裏

Mahout

網址
Mahout知名度很高,它是Apache基金資助的重要項目,在國內流傳很廣,並已經有一些中文相關書籍了。注意Mahout是一個分佈式機器學習算法的集合,協同過濾只是其中的一部分。除了被稱爲Taste的分佈式協同過濾的實現(Hadoop-based,另有pure Java版本),Mahout裏還有其他常見的機器學習算法的分佈式實現方案。
 
另外Mahout的作者之一Sean Owen基於Mahout開發了一個試驗性質的推薦系統,稱爲Myrrix, 可以看這裏:

http://myrrix.com/quick-start/

MyMediaLite

基於.NET框架的C#開發(也有Java版本),作者基本來自德國、英國等歐洲的一些高校。
除了提供了常見場景的推薦算法,MyMediaLite也有Social Matrix Factorization這樣獨特的功能
儘管是.Net框架,但也提供了Python、Ruby等腳本語言的調用API
MyMediaLite的作者之一Lars Schmidt在2012年KDD會議上專門介紹過他們系統的一些情況,可惜由於.Net開發框架日漸式微,MyMediaLite對Windows NT Server的系統吸引力大些,LAMP網站用得很少

LibFM

項目網址:
作者是德國Konstanz University的Steffen Rendle,去年KDD Cup競賽上我們的老對手,他用LibFM同時玩轉Track1和Track2兩個子競賽單元,都取得了很好的成績,說明LibFM是非常管用的利器(雖然在Track1上被我們打敗了,hiahia)
顧名思義,LibFM是專門用於矩陣分解的利器,尤其是其中實現了MCMC(Markov Chain Monte Carlo)優化算法,比常見的SGD(隨即梯度下降)優化方法精度要高(當然也會慢一些)
順便八卦下,去年KDD會議上和Steffen當面聊過,他很靦腆而且喜歡偷笑,呵呵挺可愛。

LibMF

項目地址:
http://www.csie.ntu.edu.tw/~cjlin/libmf/
注意LibMF和上面的LibFM是兩個不同的開源項目。這個LibMF的作者是大名鼎鼎的臺灣國立大學,他們在機器學習領域享有盛名,近年連續多屆KDD Cup競賽上均獲得優異成績,並曾連續多年獲得冠軍。臺灣大學的風格非常務實,業界常用的LibSVM, Liblinear等都是他們開發的,開源代碼的效率和質量都非常高
LibMF在矩陣分解的並行化方面作出了很好的貢獻,針對SDG優化方法在並行計算中存在的locking problem和memory discontinuity問題,提出了一種矩陣分解的高效算法,根據計算節點的個數來劃分評分矩陣block,並分配計算節點。系統介紹可以見這篇論文(Recsys 2013的 Best paper Award)
Y. Zhuang, W.-S. Chin, Y.-C. Juan, and C.-J. Lin. A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems. Proceedings of ACM Recommender Systems 2013.

PREA

全名是 Personalized Recommendation Algorithms Toolkit, 開發語言爲Java。也是一個輕量級的開源項目
項目網址:
放在Mloss這個大project下。我個人感覺PREA還是比較簡陋的,參加開發的三位工程師Joonseok Lee, Mingxuan Sun, Guy Lebanon更新頻率很低,提供的資料也少。
不過Mloss下倒是能找到其他一些推薦開源項目

Python-recsys

一個非常輕量級的開源推薦系統,python開發,作者似乎只有一位,
Python-recsys主要實現了SVD、Neighborhood SVD推薦算法,
這個項目麻雀雖小五臟俱全,評估數據(Movielens,Last.fm)、評估框架也都有
API也很簡單清晰,代碼簡潔,屬於推薦入門的良好教材。
不過真正要用到實際系統中,還是得補充很多內容
github的地址位於
項目的介紹見:

RapidMiner

項目網址爲:
Java語言開發,RapidMiner(前身是Yale)已經是一個比較成熟的數據挖掘解決方案了,包括常見的機器學習、NLP、推薦、預測等方法(推薦只佔其中很小一部分),而且帶有GUI的數據分析環境,數據ETL、預處理、可視化、評估、部署等整套系統都有。
 
另外RapidMiner提供commercial license,提供R語言接口,感覺在向着一個商用的數據挖掘公司的方向在前進。

Recommendable

基於Ruby語言開發,實現了一些評分預測的推薦算法,但是整體感覺比較單薄,
github上地址如下:

Recommenderlab

基於R語言開發的開源推薦程序,對經常使用R語言的工程師或者BI數據分析師來說,recommenderlab的出現絕對算得上是福音了
項目地址:
基於Recommenderlab來開發推薦系統,代碼會非常精簡,因爲推薦系統所依賴的user-item rating matrix對擅長處理向量運算的R語言來說再方便不過了,
但是在實際推薦系統中,需要考慮的問題和邏輯都比較複雜,用Recommenderlab不是很靈活。另外受限於R語言對內存的限制,Recommenderlab不太適用於過大規模的推薦應用

Waffles

SF地址:
Waffles英文原意是蜂蜜甜餅(見logo),在這裏卻指代一個非常強大的機器學習的開源工具包,基於C++語言開發。
Waffles裏包含的算法特別多,涉及機器學習的方方面面,推薦系統位於其中的Waffles_recommend tool,大概只佔整個Waffles的1/10的內容(其它還有分類、聚類、採樣、降維、數據可視化、音頻處理等許許多多工具包,估計能與之媲美的也就數Weka了)
發佈了21 篇原創文章 · 獲贊 49 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章