hadoop求推薦好友-2度關係

推薦好友 a -> b,c,d b -> a,c,e ------------- a-b ab_cd a-c ac_bd a-d ad_bc b-a ba_ce b-c bc_ae b-e be_ac ------------- b-> d a-> e 已經直接可以排除ac是好友的情況了 ~~~~~~~~~~~~~~~~~~~~~~~~~ 不需要提前將相互關注的好友,只保留一條數據,因爲即使是兩條在reduce中已經set去重了 a b b c b a map: key:主 value:從 key:從 value:主 結果:a b ,b a, b c, c b,a b,b a reduce: 根據key,將values做笛卡爾積,得到的結果可能是二度關係(因爲這裏麪包括已經是好友的情況) 結果:a c 在經過一個mr去排除已經是好友的情況即可能ac已經是好友了
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章