原文作者：Douglas Heaven
雖然人工智能公司極力推廣人臉情緒識別軟件，但是心理學家卻在質疑情緒識別只是說起來容易。
數百張人臉在屏幕上一一閃現，其中一些瞪着眼睛，一些癟着嘴巴，還有一些人的眼睛緊閉、嘴角上揚、張大着嘴。看到這些人臉，你必須回答一個簡單的問題：這個人是在經歷高潮還是陣痛？
來源：Adapted from GL Archive/Alamy
2018年，心理學家Rachael Jack和她的同事招募了80個人來做這個測試1。來自英國格拉斯哥大學的這個團隊從西方和東亞招募了這些參與者，爲的是研究一個長久以來的熱門問題：面部表情真的能傳達情緒嗎？
研究人員讓研究對象從面部讀取情緒的做法已經有好幾十年了，包括不同國家的成年人和兒童，甚至還有偏遠地區的原住民。上世紀60、70年代，美國心理學家Paul Ekman進行的著名觀察性研究發現，全世界的人都能夠從面部表情準確推斷出背後的情緒，這說明情緒的表達是相通的2,3。
這種觀點在一代人的時間裏基本未受挑戰。但是，新生代的心理學家和認知科學家在回顧了這些數據後提出了質疑。許多研究者現在認爲，實際情況要複雜得多，面部表情在不同情景和文化中有着截然不同的意義。 比如，Jack的研究發現，雖然西方人和東亞人對於表示痛苦的面部表情有着相似的認識，但是他們對於哪種表情表達愉悅的看法卻並不一致。
對於Ekman認爲人臉是情緒表達窗口的結論，研究人員之間的分歧越來越大。但是這並不妨礙商業公司和政府爲他的說法“買單”，並以會改變人們命運的方式加以應用。比如，西方的許多司法系統裏，讀取被告人的情緒就是公平審判的一部分。美國最高法院大法官Anthony Kennedy曾在1992年寫道，這麼做對於“瞭解罪犯的心靈和思想”是很有必要的。
Ekman曾爲美國運輸安全管理局（TSA）設計了一個備受爭議的培訓項目，該項目於2007年啓動，其核心就是解讀情緒。項目名爲“旅客篩查觀察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是訓練TSA的人員監控旅客身上出現的數十種可疑跡象，這些跡象可能反映了他們焦慮、欺騙和害怕的情緒。該項目遭到了科學家、美國國會議員以及美國公民自由聯盟等民間組織的廣泛質疑，他們指責這種做法並不準確，還會帶來種族偏見。
此起彼伏的質疑聲並沒能阻止頂尖的科技公司，它們相信情緒是容易檢測的，其中一些公司已經開發出了情緒識別軟件。眼下，這些軟件正在進行測試或推廣，應用範圍包括評估求職者和崗位的匹配度，測謊，讓廣告更有吸引力，還能檢測癡呆症到抑鬱症等一系列疾病。
這個產業的估值高達數百億美金。 微軟、IBM、亞馬遜在內的科技巨頭，以及一些專業性更強的企業（如波士頓的Affectiva和邁阿密的NeuroData Lab）都推出了通過人臉檢測情緒的算法。
研究者還在苦苦爭辯人類的面部能否忠實地表達和感知情緒，不少專家也認爲用計算機來將其自動化還早了點，尤其是這種技術還具有潛在的破壞力。紐約大學的研究中心AI Now Institute呼籲禁止在敏感場合使用情緒識別技術，譬如在招聘和執法時4。
從事相關研究的俄亥俄州立大學研究者Aleix Martinez表示，人的面部表情是很難解讀的，哪怕對人類自己來說都是如此。他說，考慮到這一點，再結合當前萬物皆可自動化的趨勢，“我們應該感到擔心。”
膚淺之見
人類的面部有43塊肌肉，它們可以拉伸、上揚、扭曲，表達幾十種不同表情。雖然面部肌肉可以做許多動作，但科學家們一直都相信，特定表情對應特定的情緒。
持這種觀點的人就包括達爾文。他在1859年出版的野外考察鉅著《物種起源》稱得上是觀察方面的教科書。他的另一部影響力稍差的作品——《人類和動物的情感表達》（1872）則頗爲教條。
達爾文注意到，靈長類動物的面部動作和人類表達情緒（如厭惡和害怕）有些類似。他由此提出，這些表情肯定有某種適應性功能。比如，撅嘴巴，皺鼻子，擠眼睛這種與厭惡相關的表情，最初可能是爲了抵禦有害的病原體。只是隨着社會行爲的出現，這些面部表情纔開始發揮起溝通的作用。
達爾文關於情緒的論述中囊括了大量擺拍的表情，比如這些努力模仿痛苦的受試者。來源：Alamy
Ekman在60年代開展的首批跨文化實地研究支持了達爾文的假說。他在世界範圍內研究了人類對六種關鍵情緒（快樂、悲傷、憤怒、害怕、驚訝和厭惡）的表情和感知，研究對象甚至包括新幾內亞的一個偏遠部落2,3。
Ekman 告訴《自然》，他挑選這六種情緒是出於實際考慮。他說，一些情緒，比如羞恥和內疚並沒有外顯的表情，“我關注的這六種情緒是有表情的，也就是說，它們可以作爲研究的對象”。
Ekman認爲，這些早期研究支持了達爾文進化論引申出的表情普適論。後來的研究則證明了某些面部表情具有適應性優勢5。
波士頓東北大學的心理學家Lisa Feldman Barrett 表示：“長久以來，人們認爲面部表情是一種強制性動作。” 也就是說，我們的面部無法隱藏我們的情緒。不過，這個假設的一個明顯漏洞是，人們確實能僞造情緒，也可以讓情緒不寫在臉上。Ekman這一派的學者也承認，每種情緒的表情並沒有一個所謂的“金標準”。
越來越多的研究者提出，情緒對應的表情範圍太大，以至於金標準的概念幾近分崩離析。他們用一篇大型綜述支持了這個觀點6。幾年前，期刊《公共利益心理科學》（Psychological Science in the Public Interest）的編輯邀請了一些觀點互斥的作者組成專家團，完成了這篇綜述。
領導此次合作的Barrett表示：“我們竭盡所能摒棄先見。”他們沒有事先樹立假設，而是直接從數據着手。她說：“觀點不統一的時候，我們就去尋找新的證據。”最後，他們閱讀了約1000篇論文，歷經2年半的研究，得出了一個很明顯的結論：沒有證據，或很少有證據能證明，人們可以從各種面部動作推測某人的情緒狀態。
面部所能反映的情緒是很有限的。完整圖片見下方。來源：Lance King/Hector Vivas/Ronaldo Schemidt/Kevin Winter/Getty
這些研究者甚至引用了一些證明面部動作和內在情緒無關的研究。英國德蒙福特大學的心理學家Carlos Crivelli曾經研究過巴布亞新幾內亞的特羅布裏恩羣島的居民，他並沒有發現能支持Ekman觀點的證據。Crivelli的結論是，從外在表現推測內在的心理狀態，就猶如用尺子在稱重量。
**證明表情普適性的證據不足的另一個原因是，人臉只提供了部分信息。**其他信息，比如身體動作、個性、聲調以及臉色變化，在我們識別和表達情緒的過程中也起到了重要的作用。就好比情緒變化會影響血流量，血流量又會影響臉色。Martinez和同事發現，人們能夠發現臉色變化和情緒之間的關係7。而背景一類的視覺信號也能提供識別情緒狀態的線索8。
順時針從左上起：籃球運動員Zion Williamson慶祝灌籃成功；墨西哥球迷歡慶世界盃小組賽晉級；歌手Adele贏得了2012年的格萊美獎；Justin Bieber的粉絲在墨西哥城的演唱會上哭泣。
複雜情緒
其他研究者指出，對Ekman的結論的反撲有些過頭了。Ekman本人深以爲然。2014年，他在對Barrett的批評的迴應中指出，有大量的研究支持他先前的結論，包括證明了面部會自發做表情的研究。還有研究發現了表情與大腦以及身體狀態之間的聯繫。他在迴應中稱，這些研究說明面部表情不僅反映了人的情緒，也反映了神經生理活動的模式（見go.nature.com/2pmrjkh）。他說自己的觀點並沒有改變。
在加拿大不列顛哥倫比亞大學的心理學家Jessica Tracy看來，那些認爲Ekman的表情普適論有錯的人給出的證據不過是一小簇反例，他們有些誇大其詞了。
她認爲，即使不同羣體或文化對憤怒表情的理解略有偏差，但也不能推翻整個理論。大多數人一看就知道這是一張憤怒的臉，她引用了一項對100個研究進行的分析9。她說：“有大量其他證據證明，全世界大多數文化的大部分人都認爲這個表情是通用的。”
Tracy和其他3位心理學家認爲10，Barrett在文獻綜述裏稱他們是將六種情緒刻板地與面部動作一一對應，這種解讀有點誇張了。其中一位作者，阿姆斯特丹大學的Disa Sauter表示：“我不認爲情緒科學領域還有其他研究者贊同她的觀點。”
Sauter 和Tracy認爲，要解讀面部表情就需要對情緒進行更復雜的分類。研究者不應把快樂視爲單一的情緒，而要把它繼續細分；快樂下面還包括高興、愉悅、憐憫、自豪等等。這些情緒的表情可能會有差異或重疊。
一些研究使用計算機生成隨機的表情。Rachael Jack在2018年開展的一項研究中，參與者需要指出每張臉與他們心目中對痛苦或高潮的定義的符合程度。來源：C. Chen et al./PNAS (CC by 4.0)
這場爭議的核心其實在於對顯著的定義。 在一項研究中，參與者需要從六個情緒標籤中選擇一個來描述他們看到的人臉。一些研究者可能認爲，如果某個表情被選擇的機率大於20%，那就說明這個表情的通用性較爲顯著。
其他人覺得20%的標準太寬鬆了。 Jack認爲Ekman的閾值過低，她在讀博期間讀過Ekman早期的論文，她說，“我總是去找我的導師，給他看這些60、70年代的圖表，每個圖表在文化認識上都存在巨大差異。到今天爲止，依然沒有數據能證明，對情緒的認可是放之四海皆準的。”
即使不考慮顯著性，研究者還要面對主觀性的問題：許多研究都需要事先爲情緒貼標籤，以便在實驗結束後進行比較。 因此，Barrett、Jack以及其他學者想用更爲客觀的方法來研究情緒。Barrett正在研究生理指標，她希望用這類指標來描述憤怒，害怕和愉悅。
Jack則用計算機隨機生成的表情來替代擺拍的面部照片，避免侷限於最常見的六種情緒。還有研究人員讓參與者自己來對人臉進行分類，或者讓來自不同文化的參與者用自己的母語給照片做標記。
硅基情緒
軟件企業則避免讓算法進行自由聯想。一般來說，情緒識別的人工智能算法需要學習數百萬張人臉圖像以及數百小時的視頻——每個情緒都被標好了標籤，再從這些資料中習得模式。 Affectiva表示公司已經用來自87個國家超過700萬張人臉對軟件進行了訓練，目前其情緒識別準確率已經達到了90%。
該公司拒絕透露算法背後的科學依據。Neurodata Lab公司意識到了面部在情緒表達上的差異，但指出：“如果某人正在經歷某種情緒，某些面部表情出現的可能性會高於隨機概率。”而該公司的算法利用的正是這種規律。而意見尚不統一的研究人員，不管站哪邊，都對這類軟件持懷疑態度，無論是對訓練算法所使用的數據存在擔憂，還是認爲該領域目前仍未有定論。
Ekman說他曾直截了當地挑戰過這些公司的說法。他曾寫信給數家公司，但拒絕透露公司名稱，只說“它們都是世界上最大的軟件公司”，並向它們索要能證明其自動化技術有效的證據，但沒有得到迴音。他說，“在我看來，他們的理論並沒有證據支持。”
Martinez折衷地表示，自動化情緒識別或許能代表某個羣體的平均情緒反應。Affectiva公司曾把軟件賣給營銷機構和某些品牌，幫助他們預測特定消費者對某個產品或營銷手段的反應。
即使這個軟件出錯也不會有太大的影響，頂多廣告的效果不如預期而已。**但是，一些算法的應用卻可能改變人們的命運，比如面試和邊境檢查。**去年，匈牙利、拉脫維亞和希臘試用了一個旅客預篩查系統，通過分析面部微表情來測謊。
想要平息這場情緒-表情的爭論，需要動用不同的研究手段。Barrett常常受邀給科技公司展示她的研究，不久前剛去了微軟。她認爲研究者要踐行達爾文撰寫《物種起源》時的做法：“觀察、觀察、再觀察。”觀察人們在現實生活如何通過面部和身體傳達信息，而不僅僅只在實驗室裏。然後再用機器來記錄和分析來自真實生活的影像。
Barrett認爲更多的數據和分析技術，而不是回顧陳舊的數據和實驗，才能幫研究者獲得新知識。 對於這個她和其他研究者看來站不住腳的科學，許多科技公司卻躍躍欲試，她向這些企業發出了挑戰：“我們已經到了懸崖口，人工智能企業到底是要繼續使用漏洞百出的研究假設，還是去做應該完成的事呢？”
參考文獻
1.Chen, C. et al. Proc. Natl Acad. Sci. USA 115, E10013–E10021 (2018).
2.Ekman, P., Sorenson, E. R. & Friesen, W. V. Science 164, 86–88 (1969).
3.Ekman, P. & Friesen, W. V. J. Personal. Soc. Psychol. 17, 124–129 (1971).
4.Crawford, K. et al. AI Now 2019 Report (AI Now Institute, 2019).
5.Susskind, J. M. & Anderson, A. K. Commun. Integrat. Biol. 1, 148–149 (2008).
6.Barrett, L. F., Adolphs, R., Marsella, S., Martinez, A. M. & Pollak, S. D. Psychol. Sci. Publ. Interest 20, 1–68 (2019).
7.Benitez-Quiroz, C. F., Srinivasan, R. & Martinez, A. M. Proc. Natl Acad. Sci. USA 115, 3581–3586 (2018).
8.Chen, Z. & Whitney, D. Proc. Natl Acad. Sci. USA 116, 7559–7564 (2019).
9.Elfenbein, H. A. & Ambady, N. Psychol. Bull. 128, 203–235 (2002)
10.Cowen, A., Sauter, D., Tracy, J. L. & Keltner, D. Psychol. Sci. Publ. Interest 20, 69–90 (2019).
原文以Why faces don’t always tell the truth about feelings爲標題發表在2020年 2月26日的《自然》新聞特寫上, 英文原文鏈接：https://www.nature.com/articles/d41586-020-00507-5
© nature
Nature|doi:10.1038/d41586-020-00507-5
推薦閱讀
[2] 如何顯著提升小目標檢測精度？深度解讀Stitcher：簡潔實用、高效漲點
[4] 整個CNN都可視化了！可交互有細節，每次卷積ReLU池化都清清楚楚
版權聲明：
本文由施普林格·自然上海辦公室負責翻譯。中文內容僅供參考，一切內容以英文原版爲準。歡迎轉發至朋友圈，如需轉載，請郵件[email protected]。未經授權的翻譯是侵權行爲，版權方將保留追究法律責任的權利。
© 2020 Springer Nature Limited. All Rights Reserved
關注微信公衆號：邁微電子研發社，獲取更多精彩內容。
知識星球：社羣旨在分享AI算法崗的秋招/春招準備攻略（含刷題）、面經和內推機會、學習路線、知識題庫等。
