使用MapReduce實現尋找共同好友的案例

假設有一下qq的好友列表數據,冒號前是一個用戶,冒號後是該用戶的所有好友(數據中的好友關係是單向的)

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

問題:如果兩個用戶之間存在共同好友,那麼求出他們之間的共同好友

求解步驟

第一步:
    map:
    讀取一行數據:A:B,C,D,F,E,O,轉換一下得到B-->A,C-->A,D-->A,F-->A,E-->A,O-->A
    reduce:
    讀取的數據應是類似於B--A,B-->E,B-->F
    得到(A,E)-->B(A和E有共同的好友B),(A,F)-->B,(E,F)-->B
第二步:
    map:
    讀取第一步輸出的數據:(A,E)-->B,(A,F)-->B,(E,F)-->B,(A,E)-->C
    原樣輸出
    reduce:
    得到(A,E)-->B,(A,E)-->C
    最後輸出結果
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章