AI的可解释性其实是对人类的可解释性——AI的原理需要让人类理解，这样人类才会信任AI，才会将AI用于实际场景。那么，AI不能采用人类无法理解的原理吗？追求可解释性是否会限制AI的发展？
虽然深度学习取得了轰动性成果，但是神经网络的可解释性一直饱受诟病。如果神经网络能够确保给出准确的结果，那么使用人类无法理解的方式也无可厚非，但是事实上它并不能确保，例如一些对抗样本就会使它出现令人哭笑不得的错误。对于神经网络而言，不可解释和“含有不可预知的错误”似乎划上了等号。因为改进神经网络的是人类，所以排除神经网络的bug的过程也是追求可解释性的过程。除非，人类采用一种自己也无法理解的方式去排除bug。
虽然人类自身做出的很多判断也是不可解释的，但是人类是一个比目前的AI完善得多的系统，因此人类会信任自身，而且很多情况下也是迫不得已，毕竟找不到更好的替代物。在一些情况下，专业人士的解释我们听不懂，但是出于对同类的信任，以及我们相信至少有人理解过，我们也会接受。可解释的系统（例如操作系统）也可能含有不可预知的错误，但是这些错误可以追根溯源，给出一个令人信服的解释，符合人类追求确定性的心理。
人类最怕的是出错而且找不到出错原因，可解释AI一定程度上是为了迎合人类这个心理而发展出的方向。虽然如此，这个方向也有很强的合理性，因为现阶段的AI很难发展出完全超出人类理解能力的方式，这种情况下，人类让AI的原理可以被人类理解也是完善AI的过程。即使AI理解世界的方式和人类不同，很多原理还是相通的，人类可以帮助AI解决它自身发现不了或解决不了的问题。至于未来，当AI已经远远超过人类时，由于差距太大，也许人类再也无法理解AI。相信这时的AI已经非常完善了，人类也帮不上忙，此时则可以不追求可解释性。