AWS 安全信息泄露-----21天燒了27萬

  安全問題一直都是個老生常談的話題,對於我們做IT的來說,是更爲重視的。從使用開發工具的是否授權合規,到從事的工作內容是否合法。我們都應該認真的思考一下這些問題,畢竟我們要靠IT這門手藝喫飯。

  2021年7月,對我來說差點成了我一生的夢魘揮之不去。我的個人的AWS賬號的IAM User 子賬號(以下就簡稱A賬號)的安全信息泄露,導致從7月7號到7月30號燒掉了約4.3萬美元,摺合人民幣27.8萬。

   2020年5月,我註冊了AWS的個人賬號用於學習,平時的話經常使用ECS,EC2,Lambda等服務做一些簡單的測試Demo,所以我的重點就一直在學習AWS 技術,沒有想着按照公司基本的信息安全防護,比如開啓MFA,定期輪換 AWS 賬戶密碼等策略。

  對於AWS 的學習計劃,我的博客中也可以體現出來,之前也分享過跨賬號資源訪問權限,以及使用Azure DevOps 部署AWS ECS Service 等文章。對於每月的學習,分享計劃,我自己也自始自終儘量控制每月的服務花費。2020年開賬號到年底幾個月基本控制在每月20美元以內,2021年這幾個月基本上每月不超過5美元。

事情的開端

  21年的3月那會兒,剛好有同事爲了和我一次測試 aws 服務,由於公司的 aws 賬號申請流程繁瑣且慢,所以我的自作主張的給同事開了 AWS IAM 賬號在我個人的 AWS 賬號做測試,完事後也完全疏忽刪除這個A賬號。此時的aws賬單也正常。

  21年的6月有發現這個子賬號在登陸我的AWS,又自認爲是同事只是誤操作登陸,所以又疏忽沒有刪除這個賬號。這兩月的 aws 賬單也是正常

 

噩夢的開始

  每個月月底的時候,我都會下意識的看看aws 的賬單,結果可怕的時候就發生了。7月29號下午,登陸到AWS 控制檯查賬單的時候,發現數額巨大的3.68萬美元看的我瞬間整個人都不好了,“難道是我忘記關閉ECS了”,“難道是我開了RDS忘記刪了“,在無數個自我找原因的同時,我急忙查看這鉅額費用是怎麼產生的。從7月7號 下午13點開始幾乎所有的區域都分別開了2臺規格爲 ”p3.2xlarge“ 的EC2。

 

我慌了,趕緊刪這些資源,腦子裏面想到的第一件事情就是”我的賬號被盜了“,停完這些服務已經29號下午4點40多了。此時我的心思完全不在工作上,急忙聯繫aws 技術支持說我的 ”access_key被黑客盜用“ 了,黑客開了好多EC2 服務,我自己沒有及時檢查,是否可以退還這筆費用。

 

 

那天也着急回去,並且想跟蹤 aws 的技術支持回覆的問題,想弄清到底出了什麼問題,包括這筆快4萬美元的費用怎麼處理。這個時候我有個很大的疑問 ”Access_key“ 是怎麼泄露的?

噩夢依舊持續

  29號下午7點40左右到家,趕緊登陸到AWS 控制檯,看到aws 的技術支持並沒有回覆我的這些問題。我就先聯繫aws 綁定的信用卡的客服中心,並說明情況,能否先凍結信用卡。(不是惡意逃費,而是摺合人民幣20多萬對我個人來說不是一筆小數目,並且我一年都賺不到20多萬),信用卡中心回覆這個牽扯到境外的免密,讓我先凍結信用卡,並繼續聯繫 aws 溝通此情況。

  29號晚上10點再次登陸 aws 控制檯,並查看這筆鉅額賬單的時候,發現有莫名奇妙的在好多個區域創建了同規格的”p3.2xlarge“ 的EC2。我震驚了,不是都刪了嗎,怎麼又出現了。於是又緊急刪這些非法創建的資源,同時發現A賬號有登陸的痕跡,於是趕緊打電話給 pm 情況,讓她幫忙問問情況。同時我也刪除了A賬號的權限。並在 CloudTrail 中查看相關日誌。

  7月07 13:08,A賬號登陸創建大量規格爲 ”p3.2xlarge“ 的EC2

       7月29 18:41,A賬號登陸到AWS控制檯

       7月29 18:51,A賬號通過某種方式又創建了大量規則爲 ”p3.2xlarge“ 的EC2

  7月29 22:26,緊急刪除了A賬號的權限

       7月30 02:08,A賬號再次登陸到AWS控制檯

登陸痕跡

 

創建資源痕跡

 

出現這一系類問題,我急忙聯繫那位同事,並且得知他就自從3月和我一起測試完需要驗證的服務後,就再也沒有登陸過。且沒有任何人知道A賬號的登陸信息。掛完電話後,短暫通過110報警後,就奔赴當地的派出所現場溝通報案。對話內容就暫時不透露了。

  從派出所回來,想着民警告知的先通知銀行掛失,將綁定到 aws 上所有的銀行卡/信用卡都解綁,先止損。在聯繫aws 調查此事。但問題在於賬單金額每分鐘都在上漲。因爲短短的4個小時,賬單金額增長了4000多美金,我不確定什麼時候金額才能停下來?我有些不知道接下來我應該做點什麼,即使我關閉了所有的服務,這個賬單的費用依舊在增長..........

前路如何,不得而知

  7月30號早上6點,經歷了前一晚的初步判斷調查,我把 aws cloudtrail 中的日誌逐步進行篩選分析,得出並不是aws root 賬號信息泄露,也不是 access_key 泄露。就是因爲這系列看似正常的操作才導致悲劇的發生。A賬號信息是怎麼泄露的,一直是個謎。

  7月30號7點左右的時候,我第三次給招商銀行信用卡中心打電話再次確認,這筆暫時還沒有扣款的鉅額費用在我註銷卡之後是否會扣款成功,聽到他們那邊很肯定的回覆,我心裏暫時鬆了一口氣,我知道接下來我需要證明得是我不是惡意註銷卡,不付款的。而是在警方,和銀行的建議下先行註銷,即使止損,同時發郵件這些信息告知 aws 的技術支持。

  7月30號9點左右,項目pm先行我一步去了公司所在區域的分局報警,希望網警能介入調查此事..........

  7月30號12點左右,回到家裏後,看到aws 回覆告知,他們很重視這次信息安全時間,會將我的賬號凍結24小時,判斷是否要進行下一步操作,同時審計部門也會介入進來覈算賬單。

.............

  其實寫道這裏,我暫時寫不下去了,因爲後面就牽扯太多的個人,公司,aws 的太多信息。此時此刻,我自己有對安全不重視的自我匹配,也更多的是憤怒。登陸的安全信息不管是從公司泄露出去,還是其他方式被黑客攻擊,都不是我想看到了。不管是內部人員乾的,還是外部人員乾的,我真的有些失望了。人心太可怕了。

言談外傳

  對於這次的安全信息被盜用,我承認有我的問題,但在沒有任何郵件通知的情況下,產生4.3 萬美元的鉅額賬單,這正常嗎?

  我統計了歷史賬單,2020年5月到2020年12月,基本上每月都可以保證到不超20美元。2021年1月到2021年6月,基本上每月都不超4美元,我真的特別想反問一句aws,根據意識賬單的消費情況,是否有風控監管部門?是否有很人性化的提醒?對我來說,這樣的事情發生一次就夠了。

  這段經歷確實給我造成了很嚴重的困擾,作爲一個不合格的雲開發人員,真的很失敗。但這不會打亂我的整個學習。我想通過這件事告訴大家,信息安全問題真的不容無視,雲信息安全真的更爲重要。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章