論文翻譯：道德判斷模型中的倫理和統計考慮

Ethical and Statistical Considerations in Models of Moral Judgments

摘要

這項工作擴展了道德決策計算模型的最新進展，通過使用數學和哲學理論來建議對最新技術的適應。它展示了模型假設的重要性，並在建模倫理原則時考慮了正態分佈的替代方案。我們展示瞭如何將倫理理論、功利主義和道義論嵌入到信息先驗分佈中。我們繼續擴大現有技術水平，以考慮超出“電車問題”的道德困境，並展示解決這種複雜性所需的適應方法。這項工作中所做的修改不僅是爲了改進最近的模型，而且旨在提高人們對在模型構建中相對於所做假設解釋結果的重要性的認識，無論是含蓄的還是明確的。

---

1. 介紹

現代人工智能（AI）正在應用於具有重大社會影響的環境。我們看到，在潛在的生死情況下，刑事司法系統和照顧社會中最脆弱的人的職位上引入了人工智能。隨着計算機變得越來越普遍，設計負責任地運行的智能系統的主題變得越來越重要(Moor，2006)。隨着計算機變得越來越普遍，設計負責任地運行的智能系統的主題變得越來越重要(Moor，2006)。上議院人工智能特別委員會最近於2018年4月16日發佈的一份報告認識到倫理考慮的重要性，並建議將資金集中在這一領域(人工智能，2018年)。專責委員會強調自動駕駛車輛(AV)是一個需要緊急考慮的領域，特別是自動駕駛車輛如何做出道德敏感的決定。最近在亞利桑那州發生的致命事故涉及優步的無人駕駛車輛和一名行人，這引發了人們對這些車輛合乎道德的懷疑。2017年，英國政府承諾，在其7000萬人工智能預算中，有很大一部分將在2021年之前實現全自動汽車的使用。然而，2018年初，英國政府宣佈了一項爲期3年的審查，在AV在英國道路上進行測試之前評估其風險。設計能夠做出道德決策的智能系統的挑戰體現在對三種類型知識的爭論中：顯性知識、隱性知識和默會知識。*顯性知識是一種可以通過適當的詢問從個體中提取出來的知識(Dummett，1991)。另一方面，隱性知識由“我們知道但沒有意識到的東西”組成(馬斯特斯，1992)。默會知識是指無法表達並“與感官聯繫在一起”的知識(野中和馮·克羅，2009)。*學術界圍繞道德原則的起源有很多爭論，特別是關於顯性知識對道德判斷的影響程度。科爾伯格等人提出的現象主義原則。(1983)，指的是只有在明確的道德原則的驅使下，才認爲行爲是道德的調查路線。然而，批評人士認爲，這一論點孤立了不涉及事先深思熟慮的道德行爲，就像我們在轉向汽車時可能會做出的瞬間決定一樣。Narvaez和Lapsley(Narvaez和Lapsley，2005)認爲，許多道德行爲是自動的，他們選擇從心理學而不是哲學的角度來考慮道德。他們認爲，許多道德行爲都是無意識或默契的，而不是顯性的。許多文獻致力於從人類行爲中提取和理解默會知識的問題(Wagner和Sternberg，1985；野中和von Krogh，2009)。然而，創建關於默會知識的定義是極其困難的：我們如何解釋我們不理解的東西？這個看似無法解決的悖論對設計道德機器的領域產生了重大影響，我們如何彌合人類道德和編纂倫理原則之間的語義鴻溝？

倫理人工智能領域致力於規範人工智能，確保應用程序對社會負責。機器道德將倫理人工智能擴展到考慮人工道德代理人的行爲，探索如何設計顯性的道德推理者(Allen等人，2005年)。Wallach和Allen將設計道德機器的方法總結爲自上而下或自下而上(Allen等人，2005年)。自上而下的方法指的是將問題迭代地簡化爲可單獨解決的子任務的過程。Charisi等確定最常見的自上而下方法形式是通過一套倫理規則進行系統治理(Charisi等人，2017年)。Arkin等人的“道德管理者”(Arkin人，2012年)採用了這種方法，這是軍事自治系統道德架構的一個組成部分。道德管理者的目的是在由機器人完成之前對行動的“道德適當性”進行評估(Arkin等人，2012年)。州長通過確保其不屬於預先定義的一系列可能的不道德後果來確保迴應是道德的，在這些後果中，迴應的“倫理適當性”由功利主義和道義論的倫理理論共同決定。正在進行的關於最佳倫理理論的學術辯論使自上而下的方法變得複雜，在整個文獻中都有不同的解釋(Bendel，2016；Dennis等人，2016)。
像這樣的自上而下的方法允許嚴格的決策過程(Charisi等人，2017年)。然而，倫理理論的模糊性使得依賴於特定倫理理論的自上而下的方法是否可以在實踐中使用，這一問題變得模糊不清。因此，注意力轉向了自下而上的方法，這些方法不需要硬編碼的倫理規則(Charisi等人，2017年)。

工程中的自下而上的方法需要描述問題，然後開發一種方法來根據其參數找到解決方案(Charisi等人，2017年)。在他們的一般倫理分析器“GenEth”中，安德森和安德森使用機器學習來學習倫理理論(安德森和安德森，2014)。GenEth是與倫理學家的意見一起創建的，以幫助將任何給定領域的倫理原則編纂成法典。爲了學習倫理原則，GenEth使用歸納邏輯編程，這是一種基於一階Horn子句學習關係的技術。相比之下，Abel等使用強化學習來學習最符合道德的決定(Abel等人，2016)。Abel等人的研究成果使用馬爾可夫決策過程作爲機制來構建具有關聯獎勵函數的決策問題。相比之下，杜威在他的著作“學習什麼價值”(Dewey，2011)中認爲，強化學習只能基於潛在的獎勵來學習偏好。杜威繼續提出“預期觀察效用最大化”作爲一種機制，與強化學習不同，它可以用來定義具有多個最終目標的代理。同樣，Boström在他最近的著作“思考超智能的可行性”(Boström，2014)中也對強化學習在學習道德理論中的使用提出了質疑。Boström認爲，一臺足夠智能的機器可以通過利用或“竊聽”其獎勵函數來最大化其獎勵(Boström，2014)。雖然只適用於某些強化學習場景，但該漏洞已將注意力轉移到貝葉斯方法上。

Boström和Dewey都認爲效用函數是確保人工智能學習道德價值而不是決策結果的一種優先方式(Dewey，2011；Boström，2014)。貝葉斯學習是一種替代的自下而上的技術，允許代理做出優化元效用函數的決策(Abel等人，2016年)。在他們的論文“學習常識道德理論”(Kleiman-Weiner等人，2017年)中，KleimanWeiner等人介紹一種新的學習道德理論的計算框架。他們首先引入了一種遞歸效用演算，該演算捕捉了個人之間互動中的福利權衡，然後使用分層貝葉斯推理作爲一種機制來理解個人的道德行爲。Kleiman-Weiner等人定義抽象原則，以捕捉個人之間的簡化關係，並解釋爲什麼某個特定的個人可能會對另一個人採取行動。他們提出了一個結構化模型，其中每個人的原則都是根據先驗產生的，取決於該人所屬的羣體（Kleiman-Weiner等人，2017）。在這一理論的基礎上，本文“常識道德決策的計算模型”(Kim等人，2019年)介紹了AV領域中道德判斷的一種新的計算模型。Kim等人的模型將道德困境描述爲效用函數，它使用抽象的道德原則來計算決策過程中的權衡。Kim等人使用貝葉斯分層模型對個人和羣體的社會結構進行分類，以表明個人的道德偏好可以作爲可解釋的參數從有限的數據中推斷出來。

目前，完全人性化的道德中介在技術上是不可能的。因此，今天的機器道德關注的是道德的一個特定方面。這項工作的重點是對人類道德判斷建模的挑戰。更好地理解如何成功地模擬這類決策將爲未來道德機器的工作奠定基礎，爲人類道德決策背後的哲學提供進一步的洞察力。

我們首先分析了這一領域的最先進技術，這些技術使用人類道德決策模型來幫助定義自主系統的倫理行爲(Kleiman-Weiner等人，2017年；Kim等人，2019年)。我們擴展了這些工作，首先提出了他們方法的潛在陷阱，並伴隨着這些假設和實驗結果。因此，本項目的重點不是提出解決問題的機制，而是突出必須解決的問題，以推動這一領域未來的進展。

我們首先檢查Kim等人使用的道德機器數據集(Awad等人，2018年)。在他們的模型中。這是第一次大規模的羣衆性道德，並質疑遊戲化這種形式的數據收集的道德性。我們提供了一個替代道德行爲數據集，由Faulhaber等人的自動駕駛車輛研究(Faulhaber等人，2018年)收集，用於本工作的模型實現。我們繼續採用Kim等人的方法圍繞Faulhaber數據集構建道德決策模型，使用蒙特卡羅啓發式算法對模型進行評估。我們的模型達到了82%的預測準確率。然而，本文的重點不是量化的成功，而是我們的實施提出的問題。因此，我們對Kim等人的假設提出質疑並強調這些因素是如何影響結果的。

機器學習是歸納推理的一個例子。因此，機器學習模型產生的結果永遠不能被明確證明是正確的，它們只能被證明是錯誤的。再加上“沒有免費午餐”定理(Wolpert，1997)，這些結果只能根據模型中的假設來解釋。從歷史上看，機器學習實驗的令人興奮的結果已經超出了他們的研究範圍。Reich等人表示如果沒有對潛在假設的充分評估，結果就沒有真正的意義(Reich和Barai，1999)。這項工作展示了模型在不同假設下的可變性，旨在激勵未來工作中的嚴格評估。

先前的假設已被確定爲對統計模型有很大影響。Kleiman-Weiner等人強調進一步探索其模型的最佳先驗分佈，作爲未來工作的一個領域。我們假設Kim等人選擇的先驗分佈選擇先驗分佈主要是爲了實用性，如果進一步考慮，可以發現先驗分佈更準確地反映了道德理論中的先驗信念。
貝葉斯推理與傳統方法的一個不同之處在於，在計算中包含了關於概率的主觀信念。因此，貝葉斯推理是由當前知識和先驗知識組成的，這兩個知識共同作用於後驗知識(V an Donen，2006)。
先驗分佈在貝葉斯推斷中起着核心作用，特別是在似然不支配後驗的情況下，即數據量有限的情況下。
當使用分層模型進行貝葉斯推理時，現有規範變得特別具有挑戰性，因爲這些模型需要超參數，每個模型都需要先驗分佈(Gelman，2006)。

我們推測，作爲一個社會，我們仍然對人類道德知之甚少，它起源於哪裏，以及它如何隨着個人或羣體的不同而變化(Decty和Wheatley，2015)。我們認爲Kim等人模型中選擇的先驗分佈對基礎數據的道德偏好做出不反映歷史道德理論的假設。
Kim等人的決定要將個人權重和羣體標準建模爲精確的正態分佈，這一點尤其值得懷疑。
首先，考慮到羣體規範，我們是否期望這些價值緊密地集中在一箇中心價值上？我們如何期望這些值相互關聯呢？其次，考慮到個體的權重，我們是否認爲這些值緊密地集中在分佈尾部質量較低的羣範數附近？這是否社會的準確反映呢？
我們給出了嘗試解決這些問題的可選的先前發行版本。

繼續我們的問題，我們認爲效用演算是一種捕捉人類道德的機制，並討論了道義論和功利主義之間的聯繫，通過我們的實現展示了道義論陳述如何作爲功利主義模型的先驗來實現更大的預測準確性。我們通過檢驗Kim等人的模型得出結論關於將電車問題擴展到考慮更復雜的道德案例的道德困境。

---

數據和方法

2.1 麻省理工學院道德機器數據集

關於道德機器的大部分歷史工作都與構建形成道德理論的理論模型有關。然而，如果我們要成功地製造出能夠做出道德決策的機器，那麼這些模型就需要在現實世界的背景下進行測試。迫切需要數據來封裝有關人類如何做出道德決定的信息。弗朗西斯等人確定道德困境是幫助研究人員理解道德決策的關鍵，並利用他們的研究在所有道德困境思維實驗中收集關於人類決策的數據，這是所有道德困境思維實驗中最著名的，即電車問題(Francis等人，2017年)。弗朗西斯等人使用虛擬現實作爲一種身臨其境的技術來比較參與者對各種手推車問題場景的反應。相比之下，麻省理工學院的研究人員採取了一種不同的方法來收集這些數據。他們的平臺“道德機器”是第一個“衆包道德”的平臺(Awad等人，2018年)。截至2017年10月，該平臺已從來自世界180多個國家的300多萬受訪者那裏收集了3000多萬份回覆(Kim等人，2019年)。

道德機器數據集推動了進一步研究學習潛在的道德偏好(Noothigattu等人，2017年；Kim等人，2019年)。但是，最近的研究警告使用不合格的大數據來誇大實驗結果的危險（Lazer等，2014）。當注意力轉向執行做出道德決策的真實系統時，我們需要就這些系統可能接受訓練的數據提出正確的問題。麻省理工學院道德機器平臺產生的數據的一個特別問題是數據收集的遊戲化。與傳統方法相比，Dergousoff和Mandryk對通過遊戲化的數據收集方法收集的結果的質量提出了質疑(Dergousoff和Mandryk，2015)。
同樣，Versteig將遊戲化確立爲一種潛在的“操縱性構造”(Versteig，2013)，強化了我們自己對道德機器數據質量的看法：參與者是否認真對待它？如果有人在玩的過程中感到無聊怎麼辦？人們知道這些數據正被用於學術研究嗎？我們選擇選擇一個新的數據集，這允許我們質疑Kim等人結果的重複性(Kim等人，2019年)。
此外，我們選擇了在傳統實驗室環境中收集的數據集，以避免我們在道德機器數據集上提出的倫理問題。

2.2 自動駕駛車輛研究數據集

該項目實施所使用的數據來自德國的研究“道德困境中的人類決策在很大程度上是由功利主義描述的：虛擬汽車駕駛研究爲自動駕駛車輛提供了指南”(Faulhaber等人，2018年)。在本文的其餘部分中，此數據集稱爲“德國自主車輛”數據集。Faulhaber等人進行一組實驗，參與者作爲虛擬現實環境中的汽車司機體驗修改後的手推車問題。參賽者被迫做出兩個決定中的一個，當面臨障礙時，在左車道或右車道之間做出選擇。障礙物由不同年齡和數量的各種類似人類的化身組成。
每個參與者都有一個訓練軌道和五個不同的實驗軌道。參與者駕駛的汽車以每小時36英里的速度行駛，鐵軌長度在180米到200米之間。
實驗賽道由五個不同的環境組成：兩座山，一個郊區和兩個城市級別。在城市場景中，參與者必須決定是轉彎上人行道還是繼續上路。呈現的頭像有：中年男子、老人、小男孩、跪着的男子、自我(參與者)。化身都是男性，頻率範圍很大，以隨機組合的形式呈現。在開始實驗之前，Faulhaber等人確保每個參與者都知道實驗的性質，並且他們已經簽署了同意書，表明他們可以隨時終止實驗。然後，向每個參與者呈現一系列訓練場景，然後是五個不同測試環境的組合中的24個測試場景。最後，參與者被問到一系列問題，以確定年齡、性別和駕駛經驗，同時還會提出一份包含高級哲學問題的問卷。216名無償參與者參加了這項研究，201名參與者完成了這項研究。然而，在我們的實現中，由於道德機器數據集和德國自主車輛數據集之間的差異，可觀測對象到抽象特徵空間的映射略有改變。
德國自主車輛數據集所代表的特徵是：車輛司機(被調查者)、男子、老人、小男孩、跪着的男子和行人。我們的字符向量表示爲$\Theta y\in \mathbf{N}^K$其中$|K|=6$。按照Kim等人的方法，我們認爲這六個人物中的每一個都可以用以下一種或多種抽象原則來描述：自保、老年、嬰兒期、中年、跪地、步行者。
因此，我們的實現使用線性映射$F(\Theta)=A'\Theta$，其中$A'$是$6\times 6$矩陣。

2.3 組合效用函數

Kim等人選擇將結果狀態的效用值建模爲抽象維度中的特徵的線性組合，

$\mu(\Theta_i)=w^TF(\Theta_i)$(1)
其中，KaTeX parse error: Undefined control sequence: \Theat at position 1: \̲T̲h̲e̲a̲t̲_0代表選擇不切換車道而實現的狀態，$\Theta_1$代表通過選擇切換車道而實現的狀態。受訪者切換車道的決定$Y=1$由兩個選擇的淨效用的Sigmoid函數表示（Kim等，2019）。

$P(Y=1|\Theta)=\frac{1}{1+exp^{-U(\Theta)}}$(2)
$U(\Theta)=\mu(\Theta_1)-\mu(\Theta_0)$(3)

2.4 分層模型

Kim等人，首先考慮屬於$g\in G$組的數據集中的$N$個受訪者。類似於Kleiman-Weiner等人，Kim等人聲明這個羣體可以代表一個國家、文化或羣體，在這個國家、文化或羣體中，風俗習慣和道德規範是相同的。然後從多變量高斯分佈中提取組$g$內的個體$i$的道德原則。

$w_i \sim \mathcal{N}_D(w^g,\sum^g)$(4)
其中，$w^g$代表組$g$在$D$維上的平均值，協方差矩陣$\sum^g$的對角線表示組$g$的成員之間在抽象原理上的差異。協方差矩陣$\sum^g$還保存關於個人放置在抽象原則之間的關係的強度的信息。例如，如果一個人很看重嬰兒期，他們可能也會很看重老年人。協方差矩陣允許學習者在推斷高度相關的維度的道德原則之後，快速推斷出一個維度的道德原則（Kim等，2019）。

設$\boldsymbol w= {w_1,...,w_i,...,w_n}$是$N$個受訪者的道德原則集合，向量$\Theta = {\Theta_1^1,...,\Theta_i^t,...,\Theta_N^T}$表示$i$個受訪者在$T$個情景下的結果狀態。答覆者$i$所做的決定由隨機變量$Y_i^t$表示。從這個前景看，Kim等人稍後可以定義後驗分佈。

$P(\boldsymbol{w},w^g,\sum^g|\boldsymbol{\Theta,Y}\propto P(\boldsymbol{\Theta,Y|w})P(\boldsymbol{w}|w^g,\sum^g)P(w^g)p(\sum^g),$(5)
其中，似然：

$P(\boldsymbol{\Theta,Y|w})=\prod_{i=1}^N\prod_{t=1}^Tp_{ti}^{y_i^t}(1-p_{ti})^{1-y_i^t},$(6)

其中，$p_{ti}$是受訪者$i$在給出的情景$T$中選擇轉向的概率，由等式2計算。Kim等人在協方差矩陣$\sum^g$上定義一個先驗參數$\eta=2$的Lkj協方差矩陣。

$\sum^g \sim LKJ(\eta),$(7)
並指定組權重的先驗，

$w^g \sim \mathcal{N}_D(0,\sum^g)$(8)

Kim等人在MAP估計下，繼續推斷模型的個體權重、羣體範數和協方差矩陣。我們使用馬爾可夫鏈蒙特卡羅（MCMC）技術來推斷模型參數的後驗分佈。在構建數據模型時，假設是必不可少的，貝葉斯方法使用先驗來明確這一點。然而，由於沒有共軛先驗，這些模型的推理變得困難，只能依靠近似推理。本文使用的MCMC方法在極限上是正確的。這篇文章仔細考察了先驗假設，質疑先驗假設是爲了簡化計算還是因爲它們有意義。

---

3. 結果

3.1 初步結果

使用MCMC的一個優點是它能夠近似模型參數的後驗分佈。圖1顯示了超過5000個樣本、1000個調整樣本的模型分組範數參數的後驗分佈。

由於這些後驗分佈與正態分佈非常相似，因此可以使用MCMC技術來推導參數點估計。Kim等人使用點估計來討論他們的模型在推斷道德原則方面的成功。Kim等人將他們的模型在預測個人反應方面的準確性與基準模型基準1進行比較，基準1按照抽象的道德原則$\Lambda$對受訪者的價值觀進行建模。

在基準1中，Kim等對羣體權重進行建模，忽略層次結構，並假定推斷個人的道德偏好並不會影響他人的推斷。

$w^{f} \sim \operatorname{Normal}_{D}\left(\mu, \sigma^{2} I\right)$(9)

這項工作引入了基準測試2，它對個體權重進行建模，使得個體爲每個抽象原則分配相同的權重。

$w_{i}^{l} \sim[1,1,1,1,1,1]$(10)

圖2顯示了我們實現的模型與兩個建議的基準比較時的預測精度。

我們可以看到，分層模型在預測樣本外的個體響應方面優於這兩個基準。與基準2相比，基準1和分層模型的相對成功似乎提供了實驗證據來支持道德原則的存在，這些原則是個人獨有的，並支配着我們在道德困境中所做的判斷。

3.2 假設的重要性

3.2.1 LKJ協方差先驗

Kim等人的模型。使用LKJ Cholesky協方差先驗分佈，

$\sum^{g} \sim L K J(\eta=2)$(11)

定義抽象道德權重，其中η控制矩陣相關程度(Lewandowski等人，2009年)。然而，很少有證據能說明道德原則相互關聯的程度(Clouser和Gert，1990)。我們建議用變化$\eta$的LKJ分佈進行實驗，以確定最適合底層數據結構的分佈。圖3顯示了我們改變$\eta$的實驗結果。

盒圖表明，當η=1時，模型的預測精度最高。換句話說，當相關約束減弱時，模型的預測精度更高。這暗示了我們早先的假設，即Kim等人選擇先前的分佈主要是爲了實用性，而不是作爲廣泛評估的結果。

3.2.2 半柯西分佈

Kim等人將多變量高斯分佈的標準偏差建模爲具有低方差的正態分佈。我們提出了一個較弱的先驗分佈來挑戰這樣的觀點，即個人道德原則緊密地聚集在一個羣體規範周圍，而羣體規範被限制在一個狹窄的範圍內。
Gelman指出，許多歷史上用於非信息性先驗的分佈將主觀性引入到結果中(Gelman，2006)。此外，Gelman建議將半柯西密度作爲參考的非信息性先驗，用於分層模型中的標準偏差項。半柯西分佈是方差的條件共軛摺疊非中心t先驗分佈族的特例(Gelman and Hill，2006)。它在0有一個寬峯，有一個刻度參數A。當A趨於無窮大時，半柯西分佈成爲標準差的一致先驗。A的大的和有限的值表示弱先驗，因爲分佈在尾部具有平緩的斜率。

我們建議使用半柯西分佈對組範數參數和單個權重的標準偏差建模，

$\sigma \sim \text {halfCauchy}(10)$(12)

圖4顯示了Kim指定的標準偏差超先驗和半柯西超先驗之間的比較預測精度。

可以看出，半柯西先驗在統計上顯著提高了模型的預測精度。這再次強化了我們的假設，即Kim等人之前的假設過於具體，不能代表數據。此外，沒有確鑿的證據表明，個人的道德信仰集中在一箇中心羣體的價值觀上。因此，我們提出用一個在其尾部增加質量的廣義分佈來建模單個權重。

3.2.3 T分佈

在他們的工作“學生t過程作爲高斯過程的替代”(Shah等人，2014年)中，Shah等人強調正態分佈因其可解釋性、支持基數大以及其實證結果的成功而廣受歡迎。他們繼續將學生-t過程定義爲推廣正態分佈的一族橢圓過程，

$\left(f\left(x_{1}\right), \ldots, f\left(x_{n}\right)\right)^{T} \sim M V T_{n}(v, \phi, K)$(13)

其中，$K \in \prod(n)$是協方差矩陣，$\phi \in \mathbb{R}^{n}$是平均向量(Shah等人，2014年)。Shah等人強調控制分佈尾部重要度的$v$參數的重要性。隨着$v$的增加，Student-t分佈收斂到正態分佈。通過在尾部使用質量更大的分佈，我們弱化了對模型參數的假設，放鬆了集中在中心值周圍的約束。因此，我們建議使用Student-t分佈對羣體規範和個體權重進行建模，

$w^{g} \sim M V T\left(5,0, \Sigma^{g}\right)$(14)

$w^{i} \sim M V T\left(5, w^{g}, \Sigma^{g}\right)$(15)

圖5是一個箱形圖，顯示了根據Kim等人的方法在本節介紹的新穎參數下構造的層次模型的預測準確性。

它表明，儘管組合模型在單個分區上實現了最大的預測準確性，但半柯西模型仍然是最健壯的，跨分區的方差值最低。這些結果表明爲模型選擇先驗分佈是困難的。擁有始終如一的性能模型還是實現最大的預測精度更重要？然而，通過證明模型對參數化的敏感性，我們激發了仔細考慮先驗分佈的重要性，特別是在先驗知識稀缺的情況下。此外，在道德的背景下，我們必須謹慎地根據我們的數據集和假設來看待結果，強調進一步評估的重要性，以推廣結果。

3.3 功利主義與道義論

Kim等人使用效用演算來計算決定個人道德決策的福利權衡。量化道德原則的權重，然後求和以確定總體效用，這與功利主義的道德觀是同義詞，並且對人類做出道德決策的方式進行了沉重的假設。我們繼續對使用效用函數來推斷個人道德原則提出疑問，並試圖以我們的模型在倫理理論中發現的實驗結果爲基礎。

從歷史上看，研究人員將功利主義和道義論確定爲道德決策的兩種中心競爭模式（Gray和Schein，2012）。迪託（Ditto）和劉（Liu）討論了觀點和嘗試之間的差異，以探討兩者對道德決策的貢獻（Ditto and Liu，2016）。Ditto和Liu推測，人類傾向於在功利主義成果與道義原則之間取得平衡（Ditto and Liu，2016）。例如，如果一個人認爲殺死兒童是錯誤的，而他們面臨一個情景，迫使他們在拯救五個人或一個孩子之間做出選擇，那麼這個人就會增加他們對兒童的權重，以與他們的道義地位保持一致。我們將Ditto和Liu的觀點融入到Kim等人提出的模型中。

作爲德國自動駕駛汽車研究的一部分（Faulhaber等人，2018），參與者在完成道德困境試驗後被問了一系列問題。這些問題的目的是評估受訪者對一般倫理問題的看法，即“保護自己應該優先於保護他人”。參與者被要求給每個聲明打一個從1到7的分數，其中7分表示對該聲明的強烈認同。當從特定的語境中剔除這些問題時，這些問題可以獲得個人對行爲的正確或錯誤的看法，這可以等同於他們的道義論觀點。因此，我們建議對參與者的道義信念進行量化，並將其結合到模型中，以便對個人的權重進行建模，

$w_{i} \sim \mathcal{N}\left(\left(w^{g}+\phi\right) / 2, \Sigma^{g}\right)$(16)

使用$\phi$來表示個體$i$的道義信念的向量。圖6顯示，通過將先有論斷陳述合併到先驗分佈中，該模型實現了最高記錄的85.5％的預測準確性。

這支持了Ditto和Liu的假說，即道義陳述與我們在道德困境中如何衡量備選方案存在內在聯繫(Ditto和Liu，2016)。然而，這種參數化的分區之間的高度可變性表明，這並不適用於所有的個人，並且結果內的高度可變性指的是個人使用道義規則來塑造其行爲的程度。

3.4 跨域模型

我們已經看到Kim等人提出的模型是如何已經在兩個不同的數據集上證明了道德原則，但我們只在電車問題的背景下考慮了道德困境。
阿瓦德聲稱，電車難題太簡單、太罕見、太不切實際，不能用作框架機制(阿瓦德，2017)。因此，我們不會假裝實施了一個能夠提取人類道德全譜的模型。然而，我們已經使用電車問題作爲框架手段來展示這一目標的可行性。我們現在介紹金埃爾的模型在更一般的道德困境中的應用。

3.4.1 將模型轉移到新域

Haykawa等人進行的一項研究調查外語在應對道德困境中的貢獻(Hayakawa等人，2017年)。Hayakawa等人向參與者呈現20種不同的複雜道德情景，收集他們對從昏迷患者到熊襲擊等道德困境的看法。與Faulhaber等人的研究相比，來自Hayakawa等人的這些道德困境更爲複雜和現實。Hayakawa等人在實驗室環境中，提出六個實驗，每個實驗都包含進退兩難的微小變化，樣本總體規模爲224。現在，我們將應用Kim等人的方法論應用於Hayakawa等人的複雜道德情景所產生的數據。將Kim等人的模型轉移到新領域的最大挑戰之一是重新設計字符向量到抽象特徵空間的映射。的確，由於早川等人的實驗中提出的20個道德難題之間存在很大差異，因此，最終的抽象特徵向量很難設計。因此，我們用不同的抽象特徵向量進行實驗，封裝了不同數量的道德特徵參數。在定義了抽象特徵向量之後，我們使用了Kim等人的模型參數化方法。我們可以推斷出個人對受訪者的道德偏好，並用這些來預測樣本外的決策。圖7顯示了我們實現的模型的預測精度，該模型使用可變長度的抽象特徵向量來表示Hayakawa等人的數據集。

圖7顯示了模型的預測精度如何隨着用於描述潛在道德困境的抽象道德特徵的數量而增加，其中誤差條表示所選抽象特徵的不同排列上的精度差異。結果表明，當參數個數超過7時，精度下降。此外，當我們試圖定義11個抽象的道德特徵時，該模型遇到了抽樣問題，並且不收斂。這種行爲可以用模型不能處理稀疏抽象特徵向量來解釋。此外，我們不能得出七個抽象的道德特徵足以描述個體道德偏好的結論。實際上，這些結果表明，對要用來描述道德困境的抽象特徵使用不同假設的影響，並且如果要擴展模型以學習複雜的道德困境，則對Kim等人的方法構成了重大挑戰。

---

4. 討論

這項工作複製了在建模倫理決策方面由最先進的技術產生的令人興奮的結果。我們將哲學和數學理論結合起來，提出了可供選擇的模型參數化方法，從而擴展了這些研究，這既更能反映倫理理論，又能改善量化結果。然而，最重要的是，我們已經提出了這種方法在自動化道德決策方面的許多潛在障礙。此外，這項工作確立了人工智能倫理挑戰的嚴重性，並自始至終強調了量化結果問題的重要性。這項工作發現的一個關鍵挑戰是基於描述隱性人類知識的數據來解釋機器學習結果的挑戰。
結果只能相對於其相關的假設進行解釋，而對道德的假設則非常具有挑戰性。因此，這項工作的豐富性在於它的警告性措辭以及我們如何將提出的分析技術應用於未來的工作。
因此，我們最後提出了一些可能的未來工作方向。

4.1 過度簡化決策

對實施的模型的一個重要批評是，決定將決策建模爲道德偏好的線性組合，隨着時間的推移保持不變。我們質疑，是否可以通過建模來實現更豐富的道德決策模型，而不僅僅是決策結果，還包括深思熟慮的認知過程。Busemeyer等人找出使用期望效用理論的決策模型的缺點(Busemeyer和Townsend，1993)。他們借鑑了詹姆士（James，2013）的心理學理論，着重強調了認知商議過程在不確定性決策中的重要性。Busemeyer等人在歷史靜態決策模型的基礎上，提出動態模型，利用漂移擴散模型來說明偏好關係是如何隨審議時間的變化而變化的。

Kim等人模型所假設的另一種過度簡化的決策方法是將決策過程建模爲代表基本道德偏好的效用函數的決策。此外，倫理學內部對於“原則主義”（使用原則代替道德理論的實踐）存在着巨大的爭論。 克洛瑟和格特認爲，錯誤的道德原則通過錯誤地表述和過度簡化道德理論而掩蓋了道德推理（Clouser和Gert，1990）。在執行過程中，我們可以看到道德理論的這種過度簡化。 在定義他們的效用演算時，Kleiman-Weiner等人既包括道德偏好的線性表示，又包括代表影響道德決策（例如同情）的其他抽象個體品質的另一個術語。
此外，在定義他們的模型時，Kim等人忽略了這個附加術語，而是着重於推論道德原則的權重。 因此，此模型的擴展將包含對道德評估的其他來源進行建模的方法。

在文獻中，Wilson和Scheutz將同情視爲影響電車問題道德決策的一個因素，他們從將決策建模爲效用分數開始，將效用分數作爲具有相關權重的命題的線性組合(Wilson和Scheutz，2015)。爲了在他們的模型中考慮同情，Wilson等人在確定一個動作的同情反應的命題的效用上引入了新的權重。這種同理心的模型可以用來解釋那些僅靠道德原則無法解釋其行爲的個人，從而豐富了Kim等人的模型。

4.2 走向混合模式

這項工作討論了自下而上和自上而下設計道德機器的方法之間的區別。我們提出了一種自下而上的方法來學習人類的道德判斷。因此，設計倫理機器的下一階段將是將倫理或立法規則合併到這項工作中提出的系統中，以產生一個混合的倫理模型。Noothigattu等人建議道德規則可以控制機器的行爲。然而，他們聲稱不可能指定涵蓋所有可能情況的倫理裁決(Noothigattu等人，2017年)。Loreggia等人提出了一種在人類道德行爲模型內編碼道德規則的替代方法（Loreggia等人，2018）。他們提出的系統使用CP網來評估人類的偏好是否符合特定的倫理原則。CP網由Boutiler等人(Boutiler等人，2004年)提出，作爲偏好數據的圖形表示，並允許使用偏好關係對偏好進行定性而非定量評估(Boutiler等人，2004年)。Loreggia等人繼續構建兩個可供選擇的CP網，第一個是關於人類道德偏好的，第二個是關於倫理原則的。這一公式允許Loreggia等人計算CP網之間的距離，以及一種衡量道德原則是否“足夠接近”倫理規則的方法(Loreggia等人，2018年)。然而，關於應該使用哪套道德規則的問題仍然存在。我們建議使用最近由德國聯邦政府委託制定的德國自動駕駛汽車道德指南，這是首個在道德困境中標準化自動駕駛汽車行爲的指南(Transport and Infrastructure，2017)。
將這些準則納入爲道德規則將顯示人類行爲與律師定義的法律要求之間的差異，這可能會形成一個非常有趣的比較。

4.3 數據質量

使用歸納推理的論點永遠不能被證明是對還是錯，但可以通過使用高質量的證據來加強。這意味着我們需要大量有代表性的數據來證明我們的方法。我們繼續重申，這項工作中提出的結果和論點是與我們的數據集相聯繫的，絕不是對設計道德機器這一挑戰的解決方案。此外，今後的工作必須繼續收集高質量的數據。圍繞這項研究使用的數據質量的一個具體問題是缺乏完全有代表性的數據。
雖然道德機器數據集(Awad等人，2018年)收集了來自世界各地的迴應，但德國自動駕駛汽車數據集(Faulhaber等人，2018年)只代表了西方文化的道德信仰。
如果未來的研究希望使用道德模型來自動化道德決策，必須考慮傳統上代表性不足的民族和社會經濟羣體。重要的是，通過這項工作，我們強調了圍繞道德產生足夠質量數據的挑戰，如果要相信未來的歸納模型，必須解決這些挑戰。

4.4 算法公平性

目前，倫理人工智能中一個有爭議的領域是算法公平的概念。2016年的一項研究發現，刑事量刑中用於評估累犯風險的算法顯示出種族偏見的跡象(Angwin等人，2016年)。
事實上，人工智能已經擴展到對人類生活有重大影響的領域，這意味着開發人員必須開始考慮其系統的預測準確性之外的問題，並考慮其社會影響(Kusner等人，2017年)。
學習人類道德的典範本質上是有偏見的。我們已經看到，我們的數據羣體可能會對具有某些特徵的人類給予更高的偏好。
因此，在自動進行倫理決策時使用人類道德模型是道德的嗎？許多批評家會爭辯說不是，人類不是倫理的典範，倫理智能系統的設計應該不受個人道德的影響。
然而，倡導者在倫理上是構建人的，因此只能在人的行爲範圍內考慮。
如果我們要利用人類的道德行爲來自動化決策，就必須對模型進行擴展，以防止在決策中使用受保護的屬性(Kusner等人，2017年)。
Kusner等人在他們的論文“反事實公平”中將受保護的屬性描述爲相對於特定系統而言不得歧視的變量。
Kusner等人提出的反事實公平的觀點認爲，只有當一個決定在現實世界和反事實世界中都是公平的，目標個人屬於另一個人口羣體時，它纔是公平的。

實施模型的結果表明，在我們的數據人羣中，與老年人道德原則相比，個人對嬰兒道德原則的重視程度更高。
這一結果表明，個人可能會根據潛在的受保護屬性(如年齡)進行歧視。
該模型推斷出道德原則上的量化排名的能力可能會得到擴展，以識別某些人羣或軟件中的某些偏見。 該項目的一個有趣擴展是將Kim等人的模型應用於用於累犯研究的COMPAS開源數據集（Angwin等人，2016）。通過在種族道德原則上分配權重，我們假設該模型將能夠提取種族偏見。一個能夠驗證一個軟件或一個人的中立性的模型在法律、銀行和招聘等行業將是無價的。

---

作者投稿

TS完全負責研究的設計和實施、結果的分析和手稿的撰寫。

---

致謝

這份手稿改編自未發表的TS碩士論文，作爲布裏斯托爾大學(Sivill，2018)本科學位的一部分。我感謝布裏斯托爾大學的學術人員，他們提供的洞察力和專業知識極大地幫助了這項研究，儘管他們可能不同意本文的所有解釋/結論。我們也感謝Osnabrück大學的M.Wachter和F.Blind對德國AV數據集的幫助。