後記：
兩年前的文章了，當時的圖片現在已經被牆。
挪到新博客 http://yanyiwu.com/work/2012/09/10/SVD-application-in-recsys.html 並且把所需的圖片下載到本地服務器以使其顯示正常。
參考自：http://www.igvita.com/2007/01/15/svd-recommendation-system-in-ruby/
其實說參考也不準確，準確地說應該是半翻譯半學習筆記。
仔細整理一遍，感覺還是收穫很大的。
線性代數相關知識：
任意一個M*N的矩陣A（M行*N列，M>N），可以被寫成三個矩陣的乘機：
1.U：（M行M列的列正交矩陣）
2.S：（M*N的對角線矩陣，矩陣元素非負）
3.V：（N*N的正交矩陣的倒置）
即A=U*S*V‘（注意矩陣V需要倒置）
直觀地說：
假設我們有一個矩陣，該矩陣每一列代表一個user，每一行代表一個item。
如上圖，ben,tom....代表user，season n代表item。
矩陣值代表評分（0代表未評分）：
如 ben對season1評分爲5，tom對season1 評分爲5，tom對season2未評分。
機器學習和信息檢索：
機器學習的一個最根本也是最有趣的特性是數據壓縮概念的相關性。
如果我們能夠從數據中抽取某些有意義的感念，則我們能用更少的比特位來表述這個數據。
從信息論的角度則是數據之間存在相關性，則有可壓縮性。
SVD就是用來將一個大的矩陣以降低維數的方式進行有損地壓縮。
降維：
下面我們將用一個具體的例子展示svd的具體過程。
首先是A矩陣。
A =
5 5 0 5
5 0 3 4
3 4 0 3
0 0 5 3
5 4 4 5
5 4 5 5
（代表上圖的評分矩陣）
使用matlab調用svd函數：
[U,S,Vtranspose]=svd(A)
U =
-0.4472 -0.5373 -0.0064 -0.5037 -0.3857 -0.3298
-0.3586 0.2461 0.8622 -0.1458 0.0780 0.2002
-0.2925 -0.4033 -0.2275 -0.1038 0.4360 0.7065
-0.2078 0.6700 -0.3951 -0.5888 0.0260 0.0667
-0.5099 0.0597 -0.1097 0.2869 0.5946 -0.5371
-0.5316 0.1887 -0.1914 0.5341 -0.5485 0.2429
S =
17.7139 0 0 0
0 6.3917 0 0
0 0 3.0980 0
0 0 0 1.3290
0 0 0 0
0 0 0 0
Vtranspose =
-0.5710 -0.2228 0.6749 0.4109
-0.4275 -0.5172 -0.6929 0.2637
-0.3846 0.8246 -0.2532 0.3286
-0.5859 0.0532 0.0140 -0.8085
分解矩陣之後我們首先需要明白S的意義。
可以看到S很特別，是個對角線矩陣。
每個元素非負，而且依次減小，具體要講明白元素值的意思大概和線性代數的特徵向量，特徵值有關。
但是可以大致理解如下：
在線性空間裏，每個向量代表一個方向。
所以特徵值是代表該矩陣向着該特徵值對應的特徵向量的方向的變化權重。
所以可以取S對角線上前k個元素。
當k=2時候即將S（6*4）降維成S（2*2），
同時U(6*6),Vtranspose(4*4)相應地變爲 U(6*2),Vtranspose(4*2).
如下圖（圖片裏的usv矩陣元素值和我自己matlab算出的usv矩陣元素值有些正負不一致，但是本質是相同的）：
此時我們用降維後的U，S，V來相乘得到A2
A2=U(1:6,1:2)*S(1:2,1:2)*(V(1:4,1:2))' //matlab語句
A2 =
5.2885 5.1627 0.2149 4.4591
3.2768 1.9021 3.7400 3.8058
3.5324 3.5479 -0.1332 2.8984
1.1475 -0.6417 4.9472 2.3846
5.0727 3.6640 3.7887 5.3130
5.1086 3.4019 4.6166 5.5822
此時我們可以很直觀地看出，A2和A很接近，這就是之前說的降維可以看成一種數據的有損壓縮。
接下來我們開始分析該矩陣中數據的相關性。
我們將u的第一列當成x值，第二列當成y值。即u的每一行用一個二維向量表示，同理v的每一行也用一個二維向量表示。
如下圖：
從圖中可以看出:
Season5，Season6特別靠近。Ben和Fred也特別靠近。
同時我們仔細看一下A矩陣可以發現，A矩陣的第5行向量和第6行向量特別相似，Ben所在的列向量和Fred所在的列向量也特別相似。
所以從直觀上我們發現U矩陣和V矩陣可以近似來代表A矩陣，換據話說就是將A矩陣壓縮成U矩陣和V矩陣，至於壓縮比例得看當時對S矩陣取前k個數的k值是多少。
到這裏，我們已經完成了一半。
尋找相似用戶：
依然用實例來說明：
我們假設，現在有個名字叫Bob的新用戶，並且已知這個用戶對season n的評分向量爲：[5 5 0 0 0 5]。（此向量爲列向量）
我們的任務是要對他做出個性化的推薦。
我們的思路首先是利用新用戶的評分向量找出該用戶的相似用戶。
如上圖（圖中第二行式子有錯誤，Bob的轉置應爲行向量）。
對圖中公式不做證明，只需要知道結論，結論是得到一個Bob的二維向量，即知道Bob的座標。
將Bob座標添加進原來的圖中：
然後從圖中找出和Bob最相似的用戶。
注意，最相似並不是距離最近的用戶，這裏的相似用餘弦相似度計算。（關於相似度還有很多種計算方法，各有優缺點）
即夾角與Bob最小的用戶座標。
可以計算出最相似的用戶是ben。
接下來的推薦策略就完全取決於個人選擇了。
這裏介紹一個非常簡單的推薦策略：
找出最相似的用戶，即ben。
觀察ben的評分向量爲：【5 5 3 0 5 5】。
對比Bob的評分向量：【5 5 0 0 0 5】。
然後找出ben評分過而Bob未評分的item並排序，即【season 5：5，season 3：5】。
即推薦給Bob的item依次爲 season5 和 season3。
最後還有一些關於整個推薦思路的可改進的地方：
1.
svd本身就是時間複雜度高的計算過程，如果數據量大的情況恐怕時間消耗無法忍受。
不過可以使用梯度下降等機器學習的相關方法來進行近似計算，以減少時間消耗。
2.
相似度計算方法的選擇，有多種相似度計算方法，每種都有對應優缺點，對針對不同場景使用最適合的相似度計算方法。
3.
推薦策略：首先是相似用戶可以多個，每個由相似度作爲權重來共同影響推薦的item的評分。
