對希拉里泄露郵件進行簡單分析的結果

這次爆出的郵件門十分勁爆啊,不過看了看郵件內容,如果進行NLP處理的話太過繁雜,所以選擇了對收發郵箱間的關係進行簡單分析。原文發在知乎上,這裏就直接搬過來了。分析的代碼放在github

1.首先來看收發郵件數

在6000封郵件中,涉及了600個左右的郵箱
單看發送郵件的數目,前五強郵箱分別是

kaplanj@dnc.org:                    645封 
MirandaL@dnc.org                    645封 
DNCPress@dnc.org                    200封 
PaustenbachM@dnc.org                149封 
postmaster@finance.democrats.org    147

單看接收和抄送的數目,則前五強分別是

kaplanj@dnc.org                     2224MirandaL@dnc.org                    1030PaustenbachM@dnc.org                656Comm_D@dnc.org                      649封 
comers@dnc.org                      540

具體的一些信息如下圖所示(按照發送郵件數目排序)

如果按照發件數或者收件數對各郵箱進行排序,都可以看到社交分析中常見的指數曲線

令我比較驚訝的是,在對發送郵件數取對數以後,所得到的結果仍舊是一條指數曲線。如下圖所示。

這表明,這個競選團隊中極少數人有着極大的話語權。畢竟在求對數以後一般是得到一條直線的,例如微博中排名前幾千的大V的粉絲數分佈,就像下面這個圖(原諒我的靈魂畫技)


縱軸在接近0的地方會迅速向0靠近,這是由於對數函數本身的性質導致的。

2. 郵箱之間的社交分析(SNA)

這一部分的分析就比較好玩了,首先使用PageRank算法來計算各個郵箱的重要性。結果發現收發最頻繁的兩個郵箱重要性反而不怎麼高

可以看到PageRank值最高的郵箱是[email protected], 達到了0.07, 看名字似乎是負責對外推送消息的。排第二的是[email protected], 似乎與民主黨的經濟事務有關。

對上述社交網絡進行可視化表示,在使用ForceAtlas展開以後,得到如下圖所示

其中節點表示郵箱,邊代表郵箱間發送的郵件。點的顏色深度與收發郵件的數目有關,而點的大小則與PageRank值有關。可以看到上面有兩個非常深的節點,分別是[email protected](左上)和[email protected](右下)。而最大的節點即[email protected] . 所以說啊,郵件往來頻繁的也不見得重要性就高,真正重要的人都躲在後面悶聲發大財。

從上面還可以看到競選團隊很明顯的分成左上和右下兩個部分,這個後面會講

還有一點,上面的圖有很多排成很密集的小白點, 比如說紅線框起來的部分

這些有很多是外部郵箱,而且往往排在一起的那些郵箱都只與一個郵箱進行單線聯繫。雖然大部分只是進行了一次通信,不過也可以藉此看出每個人負責哪一部分工作。下方紅線部分的郵箱大部分是媒體,包括網絡媒體和傳統媒體,以及一些LGBT網站,教師工會等等,主要由MirandaL聯繫。而左上部分的郵箱比較雜,包括一些服務軟件公司,策略諮詢公司,金融服務公司,服裝公司等。總的來講是維持競選團隊正常運行的,主要由KaplanJ聯繫。

由MirandaL負責聯繫的有(主要看靠下紅框,我隨機抽了一些,一個個在Google上查後綴,這一部分是最累的)

由Kaplan J 負責聯繫的有

3. 社區發現

如果在第二步的基礎上使用社區發現算法,就能夠將整個競選團隊分成若干個子社區,如下圖所示

一種顏色即代表了一個子社區。通過這個可以看到,算法顯然比肉眼要更加精確,除了區分出綠色的子社區以外,還將右下角的大塊分成了藍色,紫色和橙色三個子社區。

綠色部分的大人物有
[email protected],
[email protected] 等。

紫色部分不用說了,最明顯的[email protected]

橙色部分不知道幹嘛的,比較有分量的是[email protected]

藍色部分我也不知道是幹嘛的,沒有特別顯眼的人物。但是從位置上來看,估計是競選團隊中的普通人員,負責日常事務和分析。

4.郵件數目與日期的關係

郵件大部分是從今年4月20號以後開始的。首先繪製每天的郵件數目變化

可以看到在從4月20日到5月25日的一個月時間裏,郵件數呈現明顯的週期變化。細心的人應該已經猜到了,這是由於週末的緣故。幾乎所有的低谷都發生在週六和週末。看來他們的雙休制度執行的不錯,加班情況不明顯。

看完了低谷,再來看幾個幾個郵件數目比較高的日期: 5/4, 5/10, 5/17. 顯然,這幾天肯定有大事情發生。我跑去GoogleTrend 搜了下democratic party的搜索指數,結果發現跟郵件數是高度吻合的

其中橙色代表郵件數目,藍色代表搜索指數。爲了將兩組數據放在一張圖裏,我對郵件數進行了等比例縮減。

跑去Democracy Now!翻了翻之前的新聞,在忽略掉大量Trump的八卦以後,找到了那幾天的大新聞
5/4 Ted Cruz 退選
5/10 Sanders 拿下了 West Virginia Primary (我之前不太關注這些,不知道這個該怎麼翻)
5/17 Sanders 拿下了 Oregon Primary, 而Hillary 拿下了Kentucky

5.神祕的小團體

在之前的關係圖中,還有一個點沒講,就是左上角的那一坨黑點

可以看出來這坨黑點內部交流十分緊密,而與外界聯繫十分的少,只通過少數人與Kaplan J 聯繫。非常神祕的樣子。那麼這個小團體裏究竟是哪些人呢?首先要列出這些人的郵箱。這些人中任何一人都與名單中其他所有人有過聯繫

tyler@commongoodva.org
patrick.w.hallahan@gmail.com
dan.turrentine@hrblock.com
adam@goers.net
michaelmhalle@gmail.com
sambrown@amalgamatedbank.com
jmantz@bgrdc.com
brian@commongoodva.org
acopeland@businessfwd.org
jackson.dunn@fticonsulting.com

我查了一些人的資料,因爲我對它們也不熟,所以只列個大概資料。

郵箱 [email protected]
姓名 Jackson Dunn
簡介:Jackson Dunn is a Senior Managing Director in the Strategic Communications segment at FTI Consulting, and is based in Washington, D.C. He also serves as head of the segment’s Public Affairs practice in the Americas. 大意是做諮詢工作
郵箱 brian@commongoodva.org
姓名 Brian Zuzenak
職務 Political Director at Gov. Terry McAuliffe
根據LinkedIn上的資料,此人目前就職於Common Good VA
曾經就職於Democratic Congressional Campaign Committee, Kate Marshall for Congress,
Missouri Democratic Party
郵箱 jmantz@bgrdc.com
姓名 Jonathan Mantz
目前就職 BGR Group
曾經就職 Barbour Griffith & Rogers, Hillary Clinton for President, DSCC
郵箱 michaelmhalle@gmail.com
姓名 Michael Halle
Director, Battleground Analytics and Strategy at Hillary for America

暫時就只搜4位,其他各位感興趣的可以去Google搜,還是挺好搜的


可以看出來,這些人大部分是屬於諮詢機構,看起來是專門進行出謀劃策的=。=

所有分析用到的工具:
python3.4 + networkx 庫
gephi
excel

發佈了88 篇原創文章 · 獲贊 591 · 訪問量 147萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章