论文翻译：道德判断模型中的伦理和统计考虑

Ethical and Statistical Considerations in Models of Moral Judgments

摘要

这项工作扩展了道德决策计算模型的最新进展，通过使用数学和哲学理论来建议对最新技术的适应。它展示了模型假设的重要性，并在建模伦理原则时考虑了正态分布的替代方案。我们展示了如何将伦理理论、功利主义和道义论嵌入到信息先验分布中。我们继续扩大现有技术水平，以考虑超出“电车问题”的道德困境，并展示解决这种复杂性所需的适应方法。这项工作中所做的修改不仅是为了改进最近的模型，而且旨在提高人们对在模型构建中相对于所做假设解释结果的重要性的认识，无论是含蓄的还是明确的。

---

1. 介绍

现代人工智能（AI）正在应用于具有重大社会影响的环境。我们看到，在潜在的生死情况下，刑事司法系统和照顾社会中最脆弱的人的职位上引入了人工智能。随着计算机变得越来越普遍，设计负责任地运行的智能系统的主题变得越来越重要(Moor，2006)。随着计算机变得越来越普遍，设计负责任地运行的智能系统的主题变得越来越重要(Moor，2006)。上议院人工智能特别委员会最近于2018年4月16日发布的一份报告认识到伦理考虑的重要性，并建议将资金集中在这一领域(人工智能，2018年)。专责委员会强调自动驾驶车辆(AV)是一个需要紧急考虑的领域，特别是自动驾驶车辆如何做出道德敏感的决定。最近在亚利桑那州发生的致命事故涉及优步的无人驾驶车辆和一名行人，这引发了人们对这些车辆合乎道德的怀疑。2017年，英国政府承诺，在其7000万人工智能预算中，有很大一部分将在2021年之前实现全自动汽车的使用。然而，2018年初，英国政府宣布了一项为期3年的审查，在AV在英国道路上进行测试之前评估其风险。设计能够做出道德决策的智能系统的挑战体现在对三种类型知识的争论中：显性知识、隐性知识和默会知识。*显性知识是一种可以通过适当的询问从个体中提取出来的知识(Dummett，1991)。另一方面，隐性知识由“我们知道但没有意识到的东西”组成(马斯特斯，1992)。默会知识是指无法表达并“与感官联系在一起”的知识(野中和冯·克罗，2009)。*学术界围绕道德原则的起源有很多争论，特别是关于显性知识对道德判断的影响程度。科尔伯格等人提出的现象主义原则。(1983)，指的是只有在明确的道德原则的驱使下，才认为行为是道德的调查路线。然而，批评人士认为，这一论点孤立了不涉及事先深思熟虑的道德行为，就像我们在转向汽车时可能会做出的瞬间决定一样。Narvaez和Lapsley(Narvaez和Lapsley，2005)认为，许多道德行为是自动的，他们选择从心理学而不是哲学的角度来考虑道德。他们认为，许多道德行为都是无意识或默契的，而不是显性的。许多文献致力于从人类行为中提取和理解默会知识的问题(Wagner和Sternberg，1985；野中和von Krogh，2009)。然而，创建关于默会知识的定义是极其困难的：我们如何解释我们不理解的东西？这个看似无法解决的悖论对设计道德机器的领域产生了重大影响，我们如何弥合人类道德和编纂伦理原则之间的语义鸿沟？

伦理人工智能领域致力于规范人工智能，确保应用程序对社会负责。机器道德将伦理人工智能扩展到考虑人工道德代理人的行为，探索如何设计显性的道德推理者(Allen等人，2005年)。Wallach和Allen将设计道德机器的方法总结为自上而下或自下而上(Allen等人，2005年)。自上而下的方法指的是将问题迭代地简化为可单独解决的子任务的过程。Charisi等确定最常见的自上而下方法形式是通过一套伦理规则进行系统治理(Charisi等人，2017年)。Arkin等人的“道德管理者”(Arkin人，2012年)采用了这种方法，这是军事自治系统道德架构的一个组成部分。道德管理者的目的是在由机器人完成之前对行动的“道德适当性”进行评估(Arkin等人，2012年)。州长通过确保其不属于预先定义的一系列可能的不道德后果来确保回应是道德的，在这些后果中，回应的“伦理适当性”由功利主义和道义论的伦理理论共同决定。正在进行的关于最佳伦理理论的学术辩论使自上而下的方法变得复杂，在整个文献中都有不同的解释(Bendel，2016；Dennis等人，2016)。
像这样的自上而下的方法允许严格的决策过程(Charisi等人，2017年)。然而，伦理理论的模糊性使得依赖于特定伦理理论的自上而下的方法是否可以在实践中使用，这一问题变得模糊不清。因此，注意力转向了自下而上的方法，这些方法不需要硬编码的伦理规则(Charisi等人，2017年)。

工程中的自下而上的方法需要描述问题，然后开发一种方法来根据其参数找到解决方案(Charisi等人，2017年)。在他们的一般伦理分析器“GenEth”中，安德森和安德森使用机器学习来学习伦理理论(安德森和安德森，2014)。GenEth是与伦理学家的意见一起创建的，以帮助将任何给定领域的伦理原则编纂成法典。为了学习伦理原则，GenEth使用归纳逻辑编程，这是一种基于一阶Horn子句学习关系的技术。相比之下，Abel等使用强化学习来学习最符合道德的决定(Abel等人，2016)。Abel等人的研究成果使用马尔可夫决策过程作为机制来构建具有关联奖励函数的决策问题。相比之下，杜威在他的著作“学习什么价值”(Dewey，2011)中认为，强化学习只能基於潜在的奖励来学习偏好。杜威继续提出“预期观察效用最大化”作为一种机制，与强化学习不同，它可以用来定义具有多个最终目标的代理。同样，Boström在他最近的著作“思考超智能的可行性”(Boström，2014)中也对强化学习在学习道德理论中的使用提出了质疑。Boström认为，一台足够智能的机器可以通过利用或“窃听”其奖励函数来最大化其奖励(Boström，2014)。虽然只适用于某些强化学习场景，但该漏洞已将注意力转移到贝叶斯方法上。

Boström和Dewey都认为效用函数是确保人工智能学习道德价值而不是决策结果的一种优先方式(Dewey，2011；Boström，2014)。贝叶斯学习是一种替代的自下而上的技术，允许代理做出优化元效用函数的决策(Abel等人，2016年)。在他们的论文“学习常识道德理论”(Kleiman-Weiner等人，2017年)中，KleimanWeiner等人介绍一种新的学习道德理论的计算框架。他们首先引入了一种递归效用演算，该演算捕捉了个人之间互动中的福利权衡，然后使用分层贝叶斯推理作为一种机制来理解个人的道德行为。Kleiman-Weiner等人定义抽象原则，以捕捉个人之间的简化关系，并解释为什么某个特定的个人可能会对另一个人采取行动。他们提出了一个结构化模型，其中每个人的原则都是根据先验产生的，取决于该人所属的群体（Kleiman-Weiner等人，2017）。在这一理论的基础上，本文“常识道德决策的计算模型”(Kim等人，2019年)介绍了AV领域中道德判断的一种新的计算模型。Kim等人的模型将道德困境描述为效用函数，它使用抽象的道德原则来计算决策过程中的权衡。Kim等人使用贝叶斯分层模型对个人和群体的社会结构进行分类，以表明个人的道德偏好可以作为可解释的参数从有限的数据中推断出来。

目前，完全人性化的道德中介在技术上是不可能的。因此，今天的机器道德关注的是道德的一个特定方面。这项工作的重点是对人类道德判断建模的挑战。更好地理解如何成功地模拟这类决策将为未来道德机器的工作奠定基础，为人类道德决策背后的哲学提供进一步的洞察力。

我们首先分析了这一领域的最先进技术，这些技术使用人类道德决策模型来帮助定义自主系统的伦理行为(Kleiman-Weiner等人，2017年；Kim等人，2019年)。我们扩展了这些工作，首先提出了他们方法的潜在陷阱，并伴随着这些假设和实验结果。因此，本项目的重点不是提出解决问题的机制，而是突出必须解决的问题，以推动这一领域未来的进展。

我们首先检查Kim等人使用的道德机器数据集(Awad等人，2018年)。在他们的模型中。这是第一次大规模的群众性道德，并质疑游戏化这种形式的数据收集的道德性。我们提供了一个替代道德行为数据集，由Faulhaber等人的自动驾驶车辆研究(Faulhaber等人，2018年)收集，用于本工作的模型实现。我们继续采用Kim等人的方法围绕Faulhaber数据集构建道德决策模型，使用蒙特卡罗启发式算法对模型进行评估。我们的模型达到了82%的预测准确率。然而，本文的重点不是量化的成功，而是我们的实施提出的问题。因此，我们对Kim等人的假设提出质疑并强调这些因素是如何影响结果的。

机器学习是归纳推理的一个例子。因此，机器学习模型产生的结果永远不能被明确证明是正确的，它们只能被证明是错误的。再加上“没有免费午餐”定理(Wolpert，1997)，这些结果只能根据模型中的假设来解释。从历史上看，机器学习实验的令人兴奋的结果已经超出了他们的研究范围。Reich等人表示如果没有对潜在假设的充分评估，结果就没有真正的意义(Reich和Barai，1999)。这项工作展示了模型在不同假设下的可变性，旨在激励未来工作中的严格评估。

先前的假设已被确定为对统计模型有很大影响。Kleiman-Weiner等人强调进一步探索其模型的最佳先验分布，作为未来工作的一个领域。我们假设Kim等人选择的先验分布选择先验分布主要是为了实用性，如果进一步考虑，可以发现先验分布更准确地反映了道德理论中的先验信念。
贝叶斯推理与传统方法的一个不同之处在于，在计算中包含了关于概率的主观信念。因此，贝叶斯推理是由当前知识和先验知识组成的，这两个知识共同作用于后验知识(V an Donen，2006)。
先验分布在贝叶斯推断中起着核心作用，特别是在似然不支配后验的情况下，即数据量有限的情况下。
当使用分层模型进行贝叶斯推理时，现有规范变得特别具有挑战性，因为这些模型需要超参数，每个模型都需要先验分布(Gelman，2006)。

我们推测，作为一个社会，我们仍然对人类道德知之甚少，它起源于哪里，以及它如何随着个人或群体的不同而变化(Decty和Wheatley，2015)。我们认为Kim等人模型中选择的先验分布对基础数据的道德偏好做出不反映历史道德理论的假设。
Kim等人的决定要将个人权重和群体标准建模为精确的正态分布，这一点尤其值得怀疑。
首先，考虑到群体规范，我们是否期望这些价值紧密地集中在一个中心价值上？我们如何期望这些值相互关联呢？其次，考虑到个体的权重，我们是否认为这些值紧密地集中在分布尾部质量较低的群范数附近？这是否社会的准确反映呢？
我们给出了尝试解决这些问题的可选的先前发行版本。

继续我们的问题，我们认为效用演算是一种捕捉人类道德的机制，并讨论了道义论和功利主义之间的联系，通过我们的实现展示了道义论陈述如何作为功利主义模型的先验来实现更大的预测准确性。我们通过检验Kim等人的模型得出结论关于将电车问题扩展到考虑更复杂的道德案例的道德困境。

---

数据和方法

2.1 麻省理工学院道德机器数据集

关于道德机器的大部分历史工作都与构建形成道德理论的理论模型有关。然而，如果我们要成功地制造出能够做出道德决策的机器，那么这些模型就需要在现实世界的背景下进行测试。迫切需要数据来封装有关人类如何做出道德决定的信息。弗朗西斯等人确定道德困境是帮助研究人员理解道德决策的关键，并利用他们的研究在所有道德困境思维实验中收集关于人类决策的数据，这是所有道德困境思维实验中最著名的，即电车问题(Francis等人，2017年)。弗朗西斯等人使用虚拟现实作为一种身临其境的技术来比较参与者对各种手推车问题场景的反应。相比之下，麻省理工学院的研究人员采取了一种不同的方法来收集这些数据。他们的平台“道德机器”是第一个“众包道德”的平台(Awad等人，2018年)。截至2017年10月，该平台已从来自世界180多个国家的300多万受访者那里收集了3000多万份回复(Kim等人，2019年)。

道德机器数据集推动了进一步研究学习潜在的道德偏好(Noothigattu等人，2017年；Kim等人，2019年)。但是，最近的研究警告使用不合格的大数据来夸大实验结果的危险（Lazer等，2014）。当注意力转向执行做出道德决策的真实系统时，我们需要就这些系统可能接受训练的数据提出正确的问题。麻省理工学院道德机器平台产生的数据的一个特别问题是数据收集的游戏化。与传统方法相比，Dergousoff和Mandryk对通过游戏化的数据收集方法收集的结果的质量提出了质疑(Dergousoff和Mandryk，2015)。
同样，Versteig将游戏化确立为一种潜在的“操纵性构造”(Versteig，2013)，强化了我们自己对道德机器数据质量的看法：参与者是否认真对待它？如果有人在玩的过程中感到无聊怎么办？人们知道这些数据正被用于学术研究吗？我们选择选择一个新的数据集，这允许我们质疑Kim等人结果的重复性(Kim等人，2019年)。
此外，我们选择了在传统实验室环境中收集的数据集，以避免我们在道德机器数据集上提出的伦理问题。

2.2 自动驾驶车辆研究数据集

该项目实施所使用的数据来自德国的研究“道德困境中的人类决策在很大程度上是由功利主义描述的：虚拟汽车驾驶研究为自动驾驶车辆提供了指南”(Faulhaber等人，2018年)。在本文的其余部分中，此数据集称为“德国自主车辆”数据集。Faulhaber等人进行一组实验，参与者作为虚拟现实环境中的汽车司机体验修改后的手推车问题。参赛者被迫做出两个决定中的一个，当面临障碍时，在左车道或右车道之间做出选择。障碍物由不同年龄和数量的各种类似人类的化身组成。
每个参与者都有一个训练轨道和五个不同的实验轨道。参与者驾驶的汽车以每小时36英里的速度行驶，铁轨长度在180米到200米之间。
实验赛道由五个不同的环境组成：两座山，一个郊区和两个城市级别。在城市场景中，参与者必须决定是转弯上人行道还是继续上路。呈现的头像有：中年男子、老人、小男孩、跪着的男子、自我(参与者)。化身都是男性，频率范围很大，以随机组合的形式呈现。在开始实验之前，Faulhaber等人确保每个参与者都知道实验的性质，并且他们已经签署了同意书，表明他们可以随时终止实验。然后，向每个参与者呈现一系列训练场景，然后是五个不同测试环境的组合中的24个测试场景。最后，参与者被问到一系列问题，以确定年龄、性别和驾驶经验，同时还会提出一份包含高级哲学问题的问卷。216名无偿参与者参加了这项研究，201名参与者完成了这项研究。然而，在我们的实现中，由于道德机器数据集和德国自主车辆数据集之间的差异，可观测对象到抽象特征空间的映射略有改变。
德国自主车辆数据集所代表的特征是：车辆司机(被调查者)、男子、老人、小男孩、跪着的男子和行人。我们的字符向量表示为$\Theta y\in \mathbf{N}^K$其中$|K|=6$。按照Kim等人的方法，我们认为这六个人物中的每一个都可以用以下一种或多种抽象原则来描述：自保、老年、婴儿期、中年、跪地、步行者。
因此，我们的实现使用线性映射$F(\Theta)=A'\Theta$，其中$A'$是$6\times 6$矩阵。

2.3 组合效用函数

Kim等人选择将结果状态的效用值建模为抽象维度中的特征的线性组合，

$\mu(\Theta_i)=w^TF(\Theta_i)$(1)
其中，KaTeX parse error: Undefined control sequence: \Theat at position 1: \̲T̲h̲e̲a̲t̲_0代表选择不切换车道而实现的状态，$\Theta_1$代表通过选择切换车道而实现的状态。受访者切换车道的决定$Y=1$由两个选择的净效用的Sigmoid函数表示（Kim等，2019）。

$P(Y=1|\Theta)=\frac{1}{1+exp^{-U(\Theta)}}$(2)
$U(\Theta)=\mu(\Theta_1)-\mu(\Theta_0)$(3)

2.4 分层模型

Kim等人，首先考虑属于$g\in G$组的数据集中的$N$个受访者。类似于Kleiman-Weiner等人，Kim等人声明这个群体可以代表一个国家、文化或群体，在这个国家、文化或群体中，风俗习惯和道德规范是相同的。然后从多变量高斯分布中提取组$g$内的个体$i$的道德原则。

$w_i \sim \mathcal{N}_D(w^g,\sum^g)$(4)
其中，$w^g$代表组$g$在$D$维上的平均值，协方差矩阵$\sum^g$的对角线表示组$g$的成员之间在抽象原理上的差异。协方差矩阵$\sum^g$还保存关于个人放置在抽象原则之间的关系的强度的信息。例如，如果一个人很看重婴儿期，他们可能也会很看重老年人。协方差矩阵允许学习者在推断高度相关的维度的道德原则之后，快速推断出一个维度的道德原则（Kim等，2019）。

设$\boldsymbol w= {w_1,...,w_i,...,w_n}$是$N$个受访者的道德原则集合，向量$\Theta = {\Theta_1^1,...,\Theta_i^t,...,\Theta_N^T}$表示$i$个受访者在$T$个情景下的结果状态。答复者$i$所做的决定由随机变量$Y_i^t$表示。从这个前景看，Kim等人稍后可以定义后验分布。

$P(\boldsymbol{w},w^g,\sum^g|\boldsymbol{\Theta,Y}\propto P(\boldsymbol{\Theta,Y|w})P(\boldsymbol{w}|w^g,\sum^g)P(w^g)p(\sum^g),$(5)
其中，似然：

$P(\boldsymbol{\Theta,Y|w})=\prod_{i=1}^N\prod_{t=1}^Tp_{ti}^{y_i^t}(1-p_{ti})^{1-y_i^t},$(6)

其中，$p_{ti}$是受访者$i$在给出的情景$T$中选择转向的概率，由等式2计算。Kim等人在协方差矩阵$\sum^g$上定义一个先验参数$\eta=2$的Lkj协方差矩阵。

$\sum^g \sim LKJ(\eta),$(7)
并指定组权重的先验，

$w^g \sim \mathcal{N}_D(0,\sum^g)$(8)

Kim等人在MAP估计下，继续推断模型的个体权重、群体范数和协方差矩阵。我们使用马尔可夫链蒙特卡罗（MCMC）技术来推断模型参数的后验分布。在构建数据模型时，假设是必不可少的，贝叶斯方法使用先验来明确这一点。然而，由于没有共轭先验，这些模型的推理变得困难，只能依靠近似推理。本文使用的MCMC方法在极限上是正确的。这篇文章仔细考察了先验假设，质疑先验假设是为了简化计算还是因为它们有意义。

---

3. 结果

3.1 初步结果

使用MCMC的一个优点是它能够近似模型参数的后验分布。图1显示了超过5000个样本、1000个调整样本的模型分组范数参数的后验分布。

由于这些后验分布与正态分布非常相似，因此可以使用MCMC技术来推导参数点估计。Kim等人使用点估计来讨论他们的模型在推断道德原则方面的成功。Kim等人将他们的模型在预测个人反应方面的准确性与基准模型基准1进行比较，基准1按照抽象的道德原则$\Lambda$对受访者的价值观进行建模。

在基准1中，Kim等对群体权重进行建模，忽略层次结构，并假定推断个人的道德偏好并不会影响他人的推断。

$w^{f} \sim \operatorname{Normal}_{D}\left(\mu, \sigma^{2} I\right)$(9)

这项工作引入了基准测试2，它对个体权重进行建模，使得个体为每个抽象原则分配相同的权重。

$w_{i}^{l} \sim[1,1,1,1,1,1]$(10)

图2显示了我们实现的模型与两个建议的基准比较时的预测精度。

我们可以看到，分层模型在预测样本外的个体响应方面优于这两个基准。与基准2相比，基准1和分层模型的相对成功似乎提供了实验证据来支持道德原则的存在，这些原则是个人独有的，并支配着我们在道德困境中所做的判断。

3.2 假设的重要性

3.2.1 LKJ协方差先验

Kim等人的模型。使用LKJ Cholesky协方差先验分布，

$\sum^{g} \sim L K J(\eta=2)$(11)

定义抽象道德权重，其中η控制矩阵相关程度(Lewandowski等人，2009年)。然而，很少有证据能说明道德原则相互关联的程度(Clouser和Gert，1990)。我们建议用变化$\eta$的LKJ分布进行实验，以确定最适合底层数据结构的分布。图3显示了我们改变$\eta$的实验结果。

盒图表明，当η=1时，模型的预测精度最高。换句话说，当相关约束减弱时，模型的预测精度更高。这暗示了我们早先的假设，即Kim等人选择先前的分布主要是为了实用性，而不是作为广泛评估的结果。

3.2.2 半柯西分布

Kim等人将多变量高斯分布的标准偏差建模为具有低方差的正态分布。我们提出了一个较弱的先验分布来挑战这样的观点，即个人道德原则紧密地聚集在一个群体规范周围，而群体规范被限制在一个狭窄的范围内。
Gelman指出，许多历史上用于非信息性先验的分布将主观性引入到结果中(Gelman，2006)。此外，Gelman建议将半柯西密度作为参考的非信息性先验，用于分层模型中的标准偏差项。半柯西分布是方差的条件共轭折叠非中心t先验分布族的特例(Gelman and Hill，2006)。它在0有一个宽峰，有一个刻度参数A。当A趋于无穷大时，半柯西分布成为标准差的一致先验。A的大的和有限的值表示弱先验，因为分布在尾部具有平缓的斜率。

我们建议使用半柯西分布对组范数参数和单个权重的标准偏差建模，

$\sigma \sim \text {halfCauchy}(10)$(12)

图4显示了Kim指定的标准偏差超先验和半柯西超先验之间的比较预测精度。

可以看出，半柯西先验在统计上显著提高了模型的预测精度。这再次强化了我们的假设，即Kim等人之前的假设过于具体，不能代表数据。此外，没有确凿的证据表明，个人的道德信仰集中在一个中心群体的价值观上。因此，我们提出用一个在其尾部增加质量的广义分布来建模单个权重。

3.2.3 T分布

在他们的工作“学生t过程作为高斯过程的替代”(Shah等人，2014年)中，Shah等人强调正态分布因其可解释性、支持基数大以及其实证结果的成功而广受欢迎。他们继续将学生-t过程定义为推广正态分布的一族椭圆过程，

$\left(f\left(x_{1}\right), \ldots, f\left(x_{n}\right)\right)^{T} \sim M V T_{n}(v, \phi, K)$(13)

其中，$K \in \prod(n)$是协方差矩阵，$\phi \in \mathbb{R}^{n}$是平均向量(Shah等人，2014年)。Shah等人强调控制分布尾部重要度的$v$参数的重要性。随着$v$的增加，Student-t分布收敛到正态分布。通过在尾部使用质量更大的分布，我们弱化了对模型参数的假设，放松了集中在中心值周围的约束。因此，我们建议使用Student-t分布对群体规范和个体权重进行建模，

$w^{g} \sim M V T\left(5,0, \Sigma^{g}\right)$(14)

$w^{i} \sim M V T\left(5, w^{g}, \Sigma^{g}\right)$(15)

图5是一个箱形图，显示了根据Kim等人的方法在本节介绍的新颖参数下构造的层次模型的预测准确性。

它表明，尽管组合模型在单个分区上实现了最大的预测准确性，但半柯西模型仍然是最健壮的，跨分区的方差值最低。这些结果表明为模型选择先验分布是困难的。拥有始终如一的性能模型还是实现最大的预测精度更重要？然而，通过证明模型对参数化的敏感性，我们激发了仔细考虑先验分布的重要性，特别是在先验知识稀缺的情况下。此外，在道德的背景下，我们必须谨慎地根据我们的数据集和假设来看待结果，强调进一步评估的重要性，以推广结果。

3.3 功利主义与道义论

Kim等人使用效用演算来计算决定个人道德决策的福利权衡。量化道德原则的权重，然后求和以确定总体效用，这与功利主义的道德观是同义词，并且对人类做出道德决策的方式进行了沉重的假设。我们继续对使用效用函数来推断个人道德原则提出疑问，并试图以我们的模型在伦理理论中发现的实验结果为基础。

从历史上看，研究人员将功利主义和道义论确定为道德决策的两种中心竞争模式（Gray和Schein，2012）。迪托（Ditto）和刘（Liu）讨论了观点和尝试之间的差异，以探讨两者对道德决策的贡献（Ditto and Liu，2016）。Ditto和Liu推测，人类倾向于在功利主义成果与道义原则之间取得平衡（Ditto and Liu，2016）。例如，如果一个人认为杀死儿童是错误的，而他们面临一个情景，迫使他们在拯救五个人或一个孩子之间做出选择，那么这个人就会增加他们对儿童的权重，以与他们的道义地位保持一致。我们将Ditto和Liu的观点融入到Kim等人提出的模型中。

作为德国自动驾驶汽车研究的一部分（Faulhaber等人，2018），参与者在完成道德困境试验后被问了一系列问题。这些问题的目的是评估受访者对一般伦理问题的看法，即“保护自己应该优先于保护他人”。参与者被要求给每个声明打一个从1到7的分数，其中7分表示对该声明的强烈认同。当从特定的语境中剔除这些问题时，这些问题可以获得个人对行为的正确或错误的看法，这可以等同于他们的道义论观点。因此，我们建议对参与者的道义信念进行量化，并将其结合到模型中，以便对个人的权重进行建模，

$w_{i} \sim \mathcal{N}\left(\left(w^{g}+\phi\right) / 2, \Sigma^{g}\right)$(16)

使用$\phi$来表示个体$i$的道义信念的向量。图6显示，通过将先有论断陈述合并到先验分布中，该模型实现了最高记录的85.5％的预测准确性。

这支持了Ditto和Liu的假说，即道义陈述与我们在道德困境中如何衡量备选方案存在内在联系(Ditto和Liu，2016)。然而，这种参数化的分区之间的高度可变性表明，这并不适用于所有的个人，并且结果内的高度可变性指的是个人使用道义规则来塑造其行为的程度。

3.4 跨域模型

我们已经看到Kim等人提出的模型是如何已经在两个不同的数据集上证明了道德原则，但我们只在电车问题的背景下考虑了道德困境。
阿瓦德声称，电车难题太简单、太罕见、太不切实际，不能用作框架机制(阿瓦德，2017)。因此，我们不会假装实施了一个能够提取人类道德全谱的模型。然而，我们已经使用电车问题作为框架手段来展示这一目标的可行性。我们现在介绍金埃尔的模型在更一般的道德困境中的应用。

3.4.1 将模型转移到新域

Haykawa等人进行的一项研究调查外语在应对道德困境中的贡献(Hayakawa等人，2017年)。Hayakawa等人向参与者呈现20种不同的复杂道德情景，收集他们对从昏迷患者到熊袭击等道德困境的看法。与Faulhaber等人的研究相比，来自Hayakawa等人的这些道德困境更为复杂和现实。Hayakawa等人在实验室环境中，提出六个实验，每个实验都包含进退两难的微小变化，样本总体规模为224。现在，我们将应用Kim等人的方法论应用于Hayakawa等人的复杂道德情景所产生的数据。将Kim等人的模型转移到新领域的最大挑战之一是重新设计字符向量到抽象特征空间的映射。的确，由于早川等人的实验中提出的20个道德难题之间存在很大差异，因此，最终的抽象特征向量很难设计。因此，我们用不同的抽象特征向量进行实验，封装了不同数量的道德特征参数。在定义了抽象特征向量之后，我们使用了Kim等人的模型参数化方法。我们可以推断出个人对受访者的道德偏好，并用这些来预测样本外的决策。图7显示了我们实现的模型的预测精度，该模型使用可变长度的抽象特征向量来表示Hayakawa等人的数据集。

图7显示了模型的预测精度如何随着用于描述潜在道德困境的抽象道德特征的数量而增加，其中误差条表示所选抽象特征的不同排列上的精度差异。结果表明，当参数个数超过7时，精度下降。此外，当我们试图定义11个抽象的道德特征时，该模型遇到了抽样问题，并且不收敛。这种行为可以用模型不能处理稀疏抽象特征向量来解释。此外，我们不能得出七个抽象的道德特征足以描述个体道德偏好的结论。实际上，这些结果表明，对要用来描述道德困境的抽象特征使用不同假设的影响，并且如果要扩展模型以学习复杂的道德困境，则对Kim等人的方法构成了重大挑战。

---

4. 讨论

这项工作复制了在建模伦理决策方面由最先进的技术产生的令人兴奋的结果。我们将哲学和数学理论结合起来，提出了可供选择的模型参数化方法，从而扩展了这些研究，这既更能反映伦理理论，又能改善量化结果。然而，最重要的是，我们已经提出了这种方法在自动化道德决策方面的许多潜在障碍。此外，这项工作确立了人工智能伦理挑战的严重性，并自始至终强调了量化结果问题的重要性。这项工作发现的一个关键挑战是基于描述隐性人类知识的数据来解释机器学习结果的挑战。
结果只能相对于其相关的假设进行解释，而对道德的假设则非常具有挑战性。因此，这项工作的丰富性在于它的警告性措辞以及我们如何将提出的分析技术应用于未来的工作。
因此，我们最后提出了一些可能的未来工作方向。

4.1 过度简化决策

对实施的模型的一个重要批评是，决定将决策建模为道德偏好的线性组合，随着时间的推移保持不变。我们质疑，是否可以通过建模来实现更丰富的道德决策模型，而不仅仅是决策结果，还包括深思熟虑的认知过程。Busemeyer等人找出使用期望效用理论的决策模型的缺点(Busemeyer和Townsend，1993)。他们借鉴了詹姆士（James，2013）的心理学理论，着重强调了认知商议过程在不确定性决策中的重要性。Busemeyer等人在历史静态决策模型的基础上，提出动态模型，利用漂移扩散模型来说明偏好关系是如何随审议时间的变化而变化的。

Kim等人模型所假设的另一种过度简化的决策方法是将决策过程建模为代表基本道德偏好的效用函数的决策。此外，伦理学内部对于“原则主义”（使用原则代替道德理论的实践）存在着巨大的争论。 克洛瑟和格特认为，错误的道德原则通过错误地表述和过度简化道德理论而掩盖了道德推理（Clouser和Gert，1990）。在执行过程中，我们可以看到道德理论的这种过度简化。 在定义他们的效用演算时，Kleiman-Weiner等人既包括道德偏好的线性表示，又包括代表影响道德决策（例如同情）的其他抽象个体品质的另一个术语。
此外，在定义他们的模型时，Kim等人忽略了这个附加术语，而是着重于推论道德原则的权重。 因此，此模型的扩展将包含对道德评估的其他来源进行建模的方法。

在文献中，Wilson和Scheutz将同情视为影响电车问题道德决策的一个因素，他们从将决策建模为效用分数开始，将效用分数作为具有相关权重的命题的线性组合(Wilson和Scheutz，2015)。为了在他们的模型中考虑同情，Wilson等人在确定一个动作的同情反应的命题的效用上引入了新的权重。这种同理心的模型可以用来解释那些仅靠道德原则无法解释其行为的个人，从而丰富了Kim等人的模型。

4.2 走向混合模式

这项工作讨论了自下而上和自上而下设计道德机器的方法之间的区别。我们提出了一种自下而上的方法来学习人类的道德判断。因此，设计伦理机器的下一阶段将是将伦理或立法规则合并到这项工作中提出的系统中，以产生一个混合的伦理模型。Noothigattu等人建议道德规则可以控制机器的行为。然而，他们声称不可能指定涵盖所有可能情况的伦理裁决(Noothigattu等人，2017年)。Loreggia等人提出了一种在人类道德行为模型内编码道德规则的替代方法（Loreggia等人，2018）。他们提出的系统使用CP网来评估人类的偏好是否符合特定的伦理原则。CP网由Boutiler等人(Boutiler等人，2004年)提出，作为偏好数据的图形表示，并允许使用偏好关系对偏好进行定性而非定量评估(Boutiler等人，2004年)。Loreggia等人继续构建两个可供选择的CP网，第一个是关于人类道德偏好的，第二个是关於伦理原则的。这一公式允许Loreggia等人计算CP网之间的距离，以及一种衡量道德原则是否“足够接近”伦理规则的方法(Loreggia等人，2018年)。然而，关于应该使用哪套道德规则的问题仍然存在。我们建议使用最近由德国联邦政府委托制定的德国自动驾驶汽车道德指南，这是首个在道德困境中标准化自动驾驶汽车行为的指南(Transport and Infrastructure，2017)。
将这些准则纳入为道德规则将显示人类行为与律师定义的法律要求之间的差异，这可能会形成一个非常有趣的比较。

4.3 数据质量

使用归纳推理的论点永远不能被证明是对还是错，但可以通过使用高质量的证据来加强。这意味着我们需要大量有代表性的数据来证明我们的方法。我们继续重申，这项工作中提出的结果和论点是与我们的数据集相联系的，绝不是对设计道德机器这一挑战的解决方案。此外，今后的工作必须继续收集高质量的数据。围绕这项研究使用的数据质量的一个具体问题是缺乏完全有代表性的数据。
虽然道德机器数据集(Awad等人，2018年)收集了来自世界各地的回应，但德国自动驾驶汽车数据集(Faulhaber等人，2018年)只代表了西方文化的道德信仰。
如果未来的研究希望使用道德模型来自动化道德决策，必须考虑传统上代表性不足的民族和社会经济群体。重要的是，通过这项工作，我们强调了围绕道德产生足够质量数据的挑战，如果要相信未来的归纳模型，必须解决这些挑战。

4.4 算法公平性

目前，伦理人工智能中一个有争议的领域是算法公平的概念。2016年的一项研究发现，刑事量刑中用于评估累犯风险的算法显示出种族偏见的迹象(Angwin等人，2016年)。
事实上，人工智能已经扩展到对人类生活有重大影响的领域，这意味着开发人员必须开始考虑其系统的预测准确性之外的问题，并考虑其社会影响(Kusner等人，2017年)。
学习人类道德的典范本质上是有偏见的。我们已经看到，我们的数据群体可能会对具有某些特征的人类给予更高的偏好。
因此，在自动进行伦理决策时使用人类道德模型是道德的吗？许多批评家会争辩说不是，人类不是伦理的典范，伦理智能系统的设计应该不受个人道德的影响。
然而，倡导者在伦理上是构建人的，因此只能在人的行为范围内考虑。
如果我们要利用人类的道德行为来自动化决策，就必须对模型进行扩展，以防止在决策中使用受保护的属性(Kusner等人，2017年)。
Kusner等人在他们的论文“反事实公平”中将受保护的属性描述为相对于特定系统而言不得歧视的变量。
Kusner等人提出的反事实公平的观点认为，只有当一个决定在现实世界和反事实世界中都是公平的，目标个人属于另一个人口群体时，它才是公平的。

实施模型的结果表明，在我们的数据人群中，与老年人道德原则相比，个人对婴儿道德原则的重视程度更高。
这一结果表明，个人可能会根据潜在的受保护属性(如年龄)进行歧视。
该模型推断出道德原则上的量化排名的能力可能会得到扩展，以识别某些人群或软件中的某些偏见。 该项目的一个有趣扩展是将Kim等人的模型应用于用于累犯研究的COMPAS开源数据集（Angwin等人，2016）。通过在种族道德原则上分配权重，我们假设该模型将能够提取种族偏见。一个能够验证一个软件或一个人的中立性的模型在法律、银行和招聘等行业将是无价的。

---

作者投稿

TS完全负责研究的设计和实施、结果的分析和手稿的撰写。

---

致谢

这份手稿改编自未发表的TS硕士论文，作为布里斯托尔大学(Sivill，2018)本科学位的一部分。我感谢布里斯托尔大学的学术人员，他们提供的洞察力和专业知识极大地帮助了这项研究，尽管他们可能不同意本文的所有解释/结论。我们也感谢Osnabrück大学的M.Wachter和F.Blind对德国AV数据集的帮助。