這是我對Uber AI的建議,可惜它已死

“Uber的機器學習讓我失望”,一位Uber用戶Ian Xiao吐槽道。他曾在6個小時裏,眼睜睜看着黑客侵入了他的賬戶並花掉了1000多美元。但在此期間,Uber所謂的先進技術與機器學習解決方案都沒能成功將其阻止,這讓Ian Xiao倍感無奈。擁有機器學習背景的Ian Xiao將自己的經歷寫成了一篇文章,並認真的對Uber AI提出了建議,最後還不忘鼓勵Uber AI 加油前進。不過,令人遺憾的是,Uber AI似乎已經走向“死亡”。近日,Uber已宣佈關閉Uber AI實驗室。

以下爲Ian Xiao經歷自述及對Uber AI的建議:

(免責聲明:本文所涉及的皆爲個人觀點,與我所在組織無關)

眼睜睜看着Uber賬戶被黑客攻擊

事情發生在5月3號。當天,我帶着小狗出門轉轉。剛出門不久,手機就收到UberEat發出的通知,我沒在意這件事情,就把手機塞回口袋。我沒有注意到的是,手機仍然在響個不停。

十分鐘之後,當我再次拿起手機,看到的是多條UberEat發出的通知。難道有人侵入了我的Uber賬戶,就連雙因素驗證都沒擋住?最糟糕的是,我只能像看直播一樣觀看對方的操作過程。

2020年5月3號的手機截屏

我長嘆一聲,開始尋求幫助。我想起應該更改密碼以迫使對方登出。黑客顯然預見了我的反應,搶先一步變更了密碼並把我擋在賬戶外面。

看來沒有其他辦法,唯一的選擇就是聯繫Uber客服。

與此同時,手機仍在彈出新的UberEat訂單,數額開始超過100美元。餐廳與配送員也開始發來信息。

問題與建議

當時我非常肯定,Uber(或者Mastercard)能把這筆錢退回來,事實也確實如此。但整個過程漫長且混亂。

回顧處理流程,我想到三個主要問題:

  • Uber的客戶服務不夠順暢,也不夠“智能”;

  • Uber的欺詐檢測解決方案速度太慢;

  • Uber的推薦引擎往往理解不了用戶的意圖。

下面,我就以一位普通用戶身份在數據與機器學習解決方案層面給Uber提點建議。

1.客戶服務

在發生問題時,受害者肯定會第一時間聯繫客戶服務。這也是包括Uber在內的任何一家企業最關鍵、最複雜也最具有挑戰性的運營環節。

A. 移動應用上不提供客戶服務選項。

2020年5月10日截取的UberEat屏幕

B. 很難在Uber幫助中找到合適的支持選項。

2020年5月10日截取的Uber幫助網站屏幕

C. 來自其他渠道的響應速度緩慢且經常斷開。

2020年5月10日截取的Facebook Messager UberEat客戶服務聊天記錄

我焦急地閱讀着Uber幫助網站上的選項,並在“我發現了未知費用”條目下提交了請求。根據我的理解,只有這條跟我的情況有那麼一點貼合。

D. 令人抓狂的郵件支持。

2020年5月10日截取自往來郵件界面

給客戶服務的建議

下面,我提幾點關於改善Uber客戶服務體驗的具體建議。

在應用登陸頁中添加客戶服務的移動界面,用戶無需登錄即可使用此功能。

改善Uber幫助中的內容標籤。雖然“黑客”或者“欺詐”標籤的搜索頻率不高,但卻具有緊急性以及巨大的財務影響。要求用戶手動選擇具體選項明顯不太合理。

(可選)聯繫渠道。下放從非Web渠道到集中式用戶信息/案例管理系統的代表訪問權限。我很難完全確定Facebook Massager上的Uber代表找不到我的個人資料,每次回覆還要花那麼長的時間。我覺得這事肯定不該由Facebook解決。總而言之,系統集成度、培訓與功能性都有問題,不好用。

改進模板化電子郵件回覆機制。下圖所示,爲Uber方面給出的模板化回覆,用於確認我上報的欺詐交易確實跟我的賬戶相關。

2020年5月10日截取的響應屏幕

我又發了三條請求,前後耗了七個小時才弄清楚到底該怎麼操作:我必須先提交請求,再使用Uber配置文件中預留的電子郵件地址進行回覆。Uber完全可以在返回的郵件模板中做出更明確的說明,或者針對特定情況發出特定內容。反正目前的設計非常糟糕,Uber雖然省了事,但用戶卻遭了殃。

2. 欺詐檢測系統

我個人一直關注Uber工程技術博客的內容,也很欣賞他們不斷突破技術極限、永遠追求創新彼岸的理念。

根據該博客,Uber公司會收集GPS數據,並結合最新的混合工作流、行爲分析與深度學習模型(將行爲特徵編碼爲LSTM模型)實現欺詐檢測。

(注意:以上都是針對Uber乘車服務的解決方案,跟UberEats沒啥關係。我只是假設二者會共享其中部分解決方案組件。)

基於GPS的欺詐檢測

Uber的欺詐檢測工作流

行爲分析

LSTM編碼與模型

但是,就算技術水平不高的加拿大銀行也能很快自主發現並糾正欺詐行爲,但Uber就得瘋狂讓我提供各種線索與指引。我真的很想知道這是爲什麼,難道是設計過度導致的?

關於Uber欺詐檢測的建議

不管搞出多少所謂工程技術奇蹟,我覺得應該真實一點:發現和響應欺詐活動的效率纔是評判事實的唯一標準。如果做不到,用戶損失的是時間和信心,Uber損失的則是聲譽以及在運營中傾注的心力和資源。

我給Uber的建議就是,越簡單、越“傻瓜”越好。總之,請牢記二八原則。

根據我個人爲低技術銀行設計與部署欺詐引擎方面的經驗,基於規則的引擎往往比複雜的機器學習解決方案效果更好。其原因有二:第一,簡單的解決方案往往能夠更快、更輕鬆地完成更新;第二,少數規則通常能夠涵蓋大多數欺詐事件(二八原則)。

某些欺詐者可能非常老練,所以我們得想辦法更新規則。Uber可以每月或者每季度審查未決案件,而後由團隊按實際情況更新規則。

再回到我個人的案例,從以上提到的基於規則型解決方案出發,首先應該分析Uber訂單中的三個基本面。

分析過程:

  • 訂單位置是否合理?
  • 訂單的配送目的地是否爲用戶的常住城市?
  • 用戶經常出差嗎?
  • 用戶在出差途中,是否也會使用UberEat?

示例:我住在多倫多,偶爾會出差,但我從來沒在外地用過UberEat外賣服務。而黑客發佈的所有訂單都不在多倫多。

  • 訂單中的食物是否與用戶的習慣相符?
  • 用戶喜歡嘗試新鮮食物嗎?(例如具體食品數量,以及相對於其他用戶的排名。)
  • 食物與用戶的習慣相符嗎?(例如點餐內容、平均訂單量等。)

示例:我不是那種探索型的食客。平時,我主要從多倫多的4到6家餐廳訂購日本及韓國食物。我的平均訂單金額在30到40加元之間,而黑客的平均訂單金額高達108美元。二者之間很明顯存在差異。

  • 用戶的整體表現是否不太正常?
  • 用戶是否在短時間內下達了太多訂單?(檢查用戶的平均訂餐頻率。)
  • 用戶是否在可疑位置處下單?(檢查餐廳位置以及用戶常住城市的配送點,以及最近N筆訂單的發出位置等。)

示例:我每個月平均點1到2次餐,而黑客在5個小時之內就點了11份餐(相當於每月點1650份餐)。另外,黑客從至少5個彼此相距數千英里的美國城市點餐,這也太不正常了吧?

最後,這一切完全可以在30到60分鐘之內進行近實時分析,這樣用戶就不必遭受長達6個小時的黑客入侵。

與基於機器學習的方法相比,其中很多計算都非常簡單,並不需要耗費大量時間收集數據以做出決策,也完全不需要經歷漫長的訓練與推理週期。

我發現Uber在推送好評通知與反饋請求方面倒是速度很快,相信他們肯定有辦法加快欺詐檢測節奏。

2020年5月10日截取的手機屏幕

雖然這一次客戶支持體驗很差,但我還是對Uber的工程團隊充滿信心。

3. 不那麼善解人意的提醒機制

自從侵入事件結束後,Uber的推薦算法仍在繼續發揮“魔力”——在合適的時機發出通知,希望激起我的食慾。問題是,這些推薦都是按照黑客的套路來的。

最近兩週截取的電子郵件與移動端推薦內容

過去兩週,我收到的每一條UberEat都讓人尷尬和沮喪。黑客似乎還在我身邊,時刻提醒我TA曾經來過。

考慮到我的專業與興趣,Uber的推薦系統設計一直吸引着我的關注。

下圖所示爲UberEat推薦引擎的核心組件與流程:

多目標推薦設計

基於圖的推薦系統

圖學習方程式

基於圖的推薦器中的損失函數

基於圖的推薦器的工作流設計

但在這一切抽象思維與複雜設計之外,Uber似乎還缺少一點簡單但又切實有效的東西。

寫給Uber推薦系統的建議

添加或更新數據驗證條件。通過這種方式,數據通道就能在第一步中將訓練或推理內的不良數據清除出去。Uber應該把黑客在我賬戶中鼓搗的那些操作標記爲異常,並從機器學習管道中徹底刪除。

在模型訓練與驗證中調整總體訂單權重。我使用UberEat已經三年多了,之前Uber的推薦一直比較正常。但在黑客入侵之後,一切都變了樣。這表明該模型對於某些特徵格外敏感。我感覺訂單金額(根據官方博客的說明,即食客與餐廳間的交易美元數字)可能嚴重影響模型的判斷。黑客在所有餐廳都發出大筆訂單(超過100美元,而我的個人習慣一般只有30美元),導致模型誤以爲我特別喜歡這些餐廳。

添加或更新業務邏輯保護機制。我一直強烈建議企業在推理與服務之間額外建立一個業務邏輯層,這樣才能避免我這段時間遭遇的狀況。我們應該也完全有能力在幫助用戶探索新喜好與機器學習帶來的不相關(或者說不正確)的推薦之間尋求平衡點。

提供用戶認可的推薦。目前,除了不點推薦餐食之外,我對Uber的愚蠢建議沒有任何處置空間。我希望這麼做能幫助系統完成自我糾正。當然,我肯定是打開了郵件、單擊了通知欄,不知道在Uber看來,這算不算是用戶接受了推薦。如果答案是肯定的,那我就陷入了惡性循環。我強烈建議Uber提供專門的UI,允許用戶積極參與推薦流程。

Uber AI已死?

以上是Ian Xiao對Uber AI方向提出的建議,他也在文章結尾提到:希望閱讀該文章的人可以將其轉發給合適的團隊,可惜,一直在裁員的Uber 本週早些時候再次宣佈裁員3000人,同時,Uber CEO Dara Khosrowshahi還宣佈將關閉Uber的非核心業務,包括孵化器以及人工智能業務研究院AI LAB。Uber 解釋道,這是基於削減成本和希望聚焦核心業務的戰略考慮。

延伸閱讀:《再裁 5400 人,CTO 離職,Uber 上市一年都經歷了什麼?》

Uber AI實驗室自2016年成立以來,專注於改善從外賣派送路線規劃到自動駕駛汽車行駛方式的所有任務。成立4年來,Uber AI實驗室在AI、機器學習等領域取得了不少成績和突破,從開源工具包到進化算法的研究。有網友對此發表評論稱,他認爲Uber AI團隊的實力被低估了,他們在AI方面所提出的一些重要問題被DeepMind、OpenAI等同行忽略了。

代表着Ube押注未來的AI實驗室項目被關閉,這無疑是一個令人遺憾的消息。以下簡單列一些Uber AI實驗室成立4年來所取得的一些成果。

深度神經網絡:

Uber AI實驗室研發了一種新技術,可以有效地進化深度神經網絡。他們發現,一種極其簡單的遺傳算法(GA)可以訓練包含超過400萬個參數的深度卷積網絡,從而從像素點開始玩雅達利遊戲。此外,在許多遊戲中,它的性能優於現代深度強化學習(RL)算法或進化策略(ES),同時由於更好的並行化,它的速度也更快。

Uber AI實驗室在神經進化方面的研究,爲機器學習工具箱提供了一個有趣的替代方法。新算法將進化策略(ES)的優化能力和可擴展性與神經進化獨有的方法結合起來,通過激勵不同行爲的主體羣體來促進強化學習領域的探索。

AI-GAs: AI生成算法

Uber AI提出了一個可能最終能成功達到通用人工智能的路徑,其理念是創建一個人工智能生成算法(AI- ga),在元學習體系結構、元學習算法本身和生成有效學習環境的幫助下,自動學習如何生成通用人工智能。

Plato

Uber開放了名爲Plato Research Dialogue System的人工智能平臺。Plato集成了深度學習技術和貝葉斯優化框架,爲開發者提供清晰易懂的設計,同時減少編寫代碼的需要。

Fiber

Fiber是一個開源的基於Python的分佈式計算框架,用於構建現代計算機集羣,以支持複雜的項目,如POET和需要分佈式計算的類似項目。

Ludwig

Ludwig構建在TensorFlow之上,允許用戶在不編寫代碼的情況下訓練和測試深度學習模型。通過這種方式,Ludwig的獨特之處在於,它能夠幫助有經驗的非專業人員和研究人員更容易理解深度學習,並使模型改進迭代週期更快。

有Uber 內部人士表達了對公司關閉AI實驗室的無奈,“在Uber,純粹的AI研究已死去”。突如其來的疫情讓Uber 這家明星出行創企遭遇了生死存亡的危局,在網約車主營業務還未見盈利的態勢下,入局AI、自動駕駛業務是網約車企業押注未來的一種普遍的戰略選擇,而當危機來臨,“丟卒保車”也是很多公司不得不作出的抉擇。

沒有了“未來業務”的Uber 將向何處去,這場疫情給它帶來的危機與影響終局如何,或許不久就要見分曉了。

延伸閱讀:

https://towardsdatascience.com/how-to-improve-uber-machine-learning-c83051d6e57f

https://analyticsindiamag.com/uber-ai-labs-layoffs/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章