對話機器人自誕生起經歷了幾個發展階段，從單純的文字對話到現在的語音對話，甚至模仿人類的語氣進行對話，對話式機器人的每一次進步都會引起不小的關注。然而，並不是每一款對話機器人都能取得令人滿意的成果：2018年，Facebook宣佈關閉智能助理M項目。人們忽然意識到，在對話機器人領域，大廠出品也並非一定是精品。
連Facebook這樣的大廠都無法完成的項目，到底爲什麼這麼困難？對話機器人的發展深度遇到了什麼問題？它的未來又該走向何方？帶着對話機器人領域的種種問題，AI前線在Arch Summit全球架構師峯會（深圳站）的現場對阿里小蜜算法平臺負責人張佶進行了一次專訪。
對話機器人發展的AB面
突破與進展
“深度學習技術的快速進展和突破，拓寬了對話機器人的商業應用前景。”
作爲多年深耕於智能人機交互領域的算法研究和業務場景落地的專家，張佶見證了對話機器人領域的技術變革。在他看來，以阿里小蜜機器人爲例，對話機器人在以下幾個技術領域有比較明顯的突破：
- 機器閱讀理解
過去，要使得機器人能回答用戶提出的問題，需要人工整理大量的FAQ（常見的問題項目與對應問題的解答），雖然能夠解決一部分問題，但人工代價是比較高的。
而現在，隨着機器閱讀理解技術越來越成熟，讓算法模型直接閱讀原始文檔並回答用戶問題成爲可能，大量減輕了人工整理FAQ的工作壓力，縮短了對話機器人上線的時間。
值得一提的是，近兩年在機器閱讀的學術領域，以阿里巴巴爲代表的公司提出的算法模型，在一些特定領域的數據集上，表現已經超過了人類的閱讀理解水平。對於工業界來說，如何快速將學術成果應用到實際場景中，解決真實的用戶問題，有着不小的難度；但是一旦落地成功，其背後的商業價值、社會價值就非常可觀。
以張佶個人經歷爲例，他告訴記者，機器閱讀理解已經普遍應用在了阿里小蜜平臺的衆多場景中。例如“雙十一”之前，他們會利用機器閱讀一些大型促銷活動的優惠規則文檔，讓機器人客服直接解答用戶的疑問，大大縮短了服務上線的時間，提升運營方面的效率。
除此之外，產品說明書也可以交給機器來閱讀，而用戶可以擺脫又厚又重的文字說明，直接向機器客服提問包括操作步驟、故障排查方法等問題，機器人都能秒級定位到說明書裏對應的內容，免去用戶自己檢索的煩惱。
在政府服務部門，機器閱讀理解則發揮着更大的價值。上百萬篇的市民辦事指南或公告文件，如果只依靠人工拆解成FAQ，幾乎不可能全部完成。通過機器閱讀理解技術，來辦事的市民可以直接、快速地得到解答，在辦事過程中就可以少走彎路，提升政府部門的服務效率。
- 多模態對話與問答
另外，近期在學術界，多模態的對話和問答也有了一些新的進展。
過去的對話機器人大多侷限在文本的理解，而現在人與人的溝通越來越多地通過發送圖片來表達訴求，並逐步擴展到用視頻來記錄和分享生活。隨着技術的發展，對話機器人已經可以結合圖像信息進行理解和對話。張佶介紹道，阿里小蜜平臺正在探索一個新的方向——VQA（視覺問答），讓機器人可以理解和識別聊天圖片中的視覺元素，結合文字一起進行信息的識別和處理，使得問答的場景有了更大的延伸。
顯然，VQA會對圖文信息量過大的場景很有幫助。張佶仍然以一個真實場景來舉例：淘寶和天貓上的商品有很長的詳情頁來展示商品的各種特性和服務，並且都是圖文並茂、由商家精心設計的，而看完這麼多圖片需要花費的時間太長，不少用戶就會轉而找客服進行商品細節諮詢。
過去，客服也是靠自己去瀏覽相應的介紹，然後截圖回覆給客戶。現在，VQA模型可以直接根據圖片中的內容，進行多模態的理解，並從圖片中獲取相關的部分作爲回答，這種技術的應用是一舉兩得的事情：對用戶來說，圖文並茂的回答體驗更好；而對於商家來說，客服人員不再需要去整理常見問題的答案，機器可以自動獲取相關的圖片內容進行回覆，充分利用了已有資源，構建服務的知識體系成本更低，效率提升了很多。
- 多語言對話
除了上述兩點，張佶還談到了多語言對話。
過去的對話機器人主要集中在中文、英文等主流語言，小語種則難有發展，因爲小語種的使用人數少、語料數據也比較缺乏，而隨着阿里巴巴國際化業務的不斷開拓，業務上需要讓機器人理解一些小衆的當地語言，比如東南亞的印尼語、馬來語、越南語、泰語等等。那麼怎麼樣去處理這些小語種問答呢？張佶介紹說，面對這些Low resource（低資源）的語言，阿里小蜜研發了跨語言（Cross-Lingual）的遷移學習方法，通過中文、英文這種資源比較充足的語言，幫助模型提升理解小語種的能力；尤其在最近一兩年，多語言對話技術取得了比較大的突破，小蜜已經在東南亞和歐洲的10多種語言上有了豐富的積累和沉澱。
張佶進一步從技術角度來對多語言模型的訓練進行了解釋。
語言是一種符號化表示，當用戶在描述一個問題時，不同的語言會有不同的符號體系。我們可以用Cross-Lingual的技術在詞彙和句子兩個層面將不同的語言進行對齊。首先是詞彙層面，可以用同一個語義空間來表示兩種不同語言的詞彙，例如中文詞彙“狗”可能與英文單詞“dog”在這個統一語義空間裏非常接近，這樣就可以找到兩個詞的對應關係。
而更復雜的是句子層面的對齊，句子的含義不僅僅是詞彙的堆疊，還有更復雜的語法、語序帶來的影響。算法工程師會去建立一個混合語言的語義表示體系，使之可以輸入不同的語言，之後通過一系列各種語言的對話日誌等語料進行模型調優。如此，這個模型一方面能夠去理解多種語言以及混合語言，另外一方面也能更好地適配到具體的電商的業務上。張佶說：“快速地拓展機器人的多語種支持，並能地道地服務不同國家、不同語言、不同文化的用戶，已經是阿里巴巴國際化戰略下的一個必然的技術趨勢”。
短板仍然存在
談過了突破與進展，張佶將話題轉到了領域目前的短板上。
他認爲，現在的問答系統還是隻能專注在一個小的垂直領域，也就是一個行業經常在談論的問題：機器智能在什麼樣的情況下可以真正得到突破，可以去比擬人類擁有決策的能力？
張佶的一個觀點是：如果問題的領域足夠限定，又能收集到足夠多的數據，那麼在這個領域裏，機器智能很可能可以超越人類。但是在現實的人類生活當中，技術面臨遇到問題還是比較大，領域問題往往比想象的複雜，數據收集的代價也比較高。例如將百科問題回答得很好的機器人，回答電商問題可能準確率就不高；回答電商問題比較好的機器人，可能回答法律的問題又不行。“我們還是在根據一個一個特定的領域，或者特定的問題在創造這種垂直方向的問答模型。要創造通用型機器人目前還是有比較大的挑戰的。當然我們也在嘗試縮小領域拓展的代價，小蜜團隊正在構建對話機器人的算法中臺，把小蜜機器人中用到的算法能力全面沉澱到中臺，在前臺需要構建新領域機器人的時候，可以快速運用中臺已有的問答技術、遷移學習技術、以及領域數據等沉澱，以更低的成本完成領域拓展。”
雖然在技術研發上有了不少突破和成果，但是在對話機器人真正投入使用的過程中，仍然會面臨不少的問題，張佶對此也深表贊同。
在他看來，在學術上，NLP、問答領域、對話領域等等都已經取得了較大的進展，但是在學術數據集上超越人類表現對用戶來說並沒有太大的意義，關鍵還是怎樣把這些技術轉化爲能解決用戶真實問題的產品。但在工業界的落地過程中，還存在着非常大的鴻溝，而難點主要可能會集中在這幾個方面：
從數據的角度來說，學術任務都有標準的數據集，而工業場景下數據標註的代價往往很高。模型需要大量的數據去訓練，但當模型適配到一個新的領域，或者新的語言的時候，總會面臨一種低資源的情況。所以怎樣在業務複雜，又沒有豐富數據資源的情況下，支持好一個新的領域，對於新的模型在實際的工業場景中落地會有較大的挑戰。小蜜團隊在多領域、多任務的遷移學習上有不少探索，用來降低數據標註所需的成本。
從性能的角度來說，很多模型在學術任務上表現的非常好，在一些特定任務上也能夠超越人類的表現，但其實它的模型特別的龐大，這樣的模型在工業場景下是沒有辦法使用的。舉例來說，阿里小蜜需要支持“雙十一”等大促活動，服務的併發量特別大。像機器閱讀理解這樣比較複雜的模型，也必須在十毫秒內給出答案。給模型在效果和性能上找一個最佳平衡點，讓它可以在工業場景下大規模落地，這是一個關鍵的設計。小蜜團隊近期也在嘗試“知識蒸餾”等方法：在保持效果不下降太多的情況下，大幅降低模型的複雜度，“蒸餾”出性能合格的模型。
從場景的複雜度來說，學術上的任務往往領域是限定的，問法也比較標準和清晰。而工業場景中問題往往更復雜， 用戶問法非常多樣，經常包含錯別字、缺失上下文、問題超出回答範圍等情況，無法僅僅用一個端到端的模型來解決，而是需要設計一個完整的pipeline處理鏈路。總的來說，學術任務的數據集由於比較標準和清晰，大概需要10歲的人來理解和回答就可以了，而工業界的複雜場景需要比擬的是20多歲、有經驗的客服人員的服務能力。
從研發效率的角度來說，張佶表示他們目前面臨的一個問題是：需要快速支持各種領域的機器人。比如針對阿里經濟體內部的客服機器人，針對淘寶和天貓上海量商家的店小蜜機器人，甚至還需要對外部的各行各業的企業、政府部門、海外客戶提供機器人服務。當面對這麼繁多複雜的場景、快速增長的業務和客戶時，前臺的研發如何保持高效，如何快速的去拓展新的領域和新的能力是非常重要的。
這也是張佶和團隊正在做的事情：把對話機器人的各種能力沉澱到一個算法中臺，形成“大中臺，小前臺”的形式，通過中臺去支持前臺各種對話機器人更快速的創新、驗證和試錯。
不是取代人，而是深度的人機結合
在對話機器人領域，如何產生價值是行業都在探索和關心的問題，在張佶看來，對話機器人在服務領域輔助人工客服，提升服務效率將帶來顯著的商業價值。
以阿里小蜜爲例，張佶告訴記者，它是從阿里巴巴服務部門孕育出來的一個產品，一開始只負責解決淘寶和天貓上的客戶諮詢問題。隨着數據和技術的沉澱，小蜜團隊把服務做了更多拓展，比如拓展到電商平臺的商家，幫助商家更好的服務客戶；拓展到電商以外的領域，將對話機器人的服務提供給各種不同行業的企業用戶，甚至是海外的企業，幫助他們實現更好的服務。去年的雙十一，阿里小蜜承接了98%的平臺服務量，解決率達到95%；爲商家提供服務的店小蜜，一天實現了3.5億輪對話輪次，機器人客服已經成爲了服務的主力軍。
同時，張佶也認爲：現在的對話機器人或者智能服務，還遠遠沒有達到完美替代人類的水平。張佶表示，對話機器人服務的目的並不是去替代人類，而是給人工客服賦予智能化的能力，通過人機協同的方式帶來更高效的服務，這樣一來，同樣的人力可以去服務更多的客戶，甚至做到過去做不到的一些事情，比如，在“招人難”的團隊，讓相同規模的人員服務好更多的客戶，且客戶滿意度還能持續提升；簡單的工序交給機器人，激發服務人員的主觀能動性和創造力。在機器智能的協作下，客服的服務能力不僅能夠變得更強，也更有機會在服務中發揮“人性”，“人”的價值也會增加。
更進一步地，張佶認爲對話機器人不僅只能解決售中後問題，它也在逐漸從售後走到售前，比如在電商領域可實現導購的工作，幫助用戶更好地去轉化需求，提高諮詢轉化率，帶來更多的商業價值。
當然，對話機器人也需要一些標準來評估其價值。
除了在技術上的指標準確率、召回率之外，張佶表示還會通過一些線上業務效果反饋進行評估，比如客服機器人的問題解決率，反映了有多少線上的Case能被機器人解決；詢單轉化率，反映了機器人作爲導購帶來的增量價值。
對話機器人的未來
最後，張佶談到了他對於對話機器人未來的一些展望。
第一，機器人能否結合多模態的技術更好的去感知人的情緒。直白點說，就是機器人能否學會察言觀色，更加有同理心，感知人類心理上的一些情緒變化，並給出應對策略。這樣可以讓機器人的服務變得更有溫度。
第二，機器人能不能建立更好的自我學習的能力。在人和人之間對話的過程當中，會發生某些話題或者知識自己不太瞭解，之後再去查閱，或者向別人學習、提問的情況。未來，希望機器人也能有這種發現自己不足的能力，並知道去哪裏學習、怎樣去學習，每天都在自我學習和自我的更新迭代的過程中，產生持續的進步。
第三，對話機器人如何更快、更小代價地在更多領域上發揮作用。阿里巴巴已經成爲一個龐大的經濟體，不同的行業、場景都在等待着技術去更好地支持業務，且場景的差異大、對效果的要求高、落地的時間節奏非常緊。因此，對話機器人在工業界不再是一套方案提供給所有客戶的時代了。如何做好技術沉澱，讓技術能力成爲中颱能力，並快速地、小代價地支持新業務、新領域、新場景，是對話機器人在工業界真正產生超級商業價值的祕訣。
採訪嘉賓介紹
張佶現任阿里巴巴達摩院阿里小蜜團隊高級算法專家，致力於智能人機交互領域的算法研究和業務場景落地，積累了9年的自然語言處理領域技術經驗。目前擔任阿里小蜜算法中臺負責人，推動阿里小蜜在國內和海外業務領域的算法實踐，帶領團隊實現了機器閱讀理解、多語言問答等算法技術在阿里經濟體、商家、企業、政務等生態圈的一系列成功應用。