推薦好友
a -> b,c,d
b -> a,c,e
-------------
a-b ab_cd
a-c ac_bd
a-d ad_bc
b-a ba_ce
b-c bc_ae
b-e be_ac
-------------
b-> d
a-> e
已經直接可以排除ac是好友的情況了
~~~~~~~~~~~~~~~~~~~~~~~~~
不需要提前將相互關注的好友,只保留一條數據,因爲即使是兩條在reduce中已經set去重了
a b
b c
b a
map:
key:主 value:從
key:從 value:主
結果:a b ,b a, b c, c b,a b,b a
reduce:
根據key,將values做笛卡爾積,得到的結果可能是二度關係(因爲這裏麪包括已經是好友的情況)
結果:a c
在經過一個mr去排除已經是好友的情況即可能ac已經是好友了
hadoop求推薦好友-2度關係
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.