AI的可解釋性其實是對人類的可解釋性——AI的原理需要讓人類理解，這樣人類纔會信任AI，纔會將AI用於實際場景。那麼，AI不能採用人類無法理解的原理嗎？追求可解釋性是否會限制AI的發展？
雖然深度學習取得了轟動性成果，但是神經網絡的可解釋性一直飽受詬病。如果神經網絡能夠確保給出準確的結果，那麼使用人類無法理解的方式也無可厚非，但是事實上它並不能確保，例如一些對抗樣本就會使它出現令人哭笑不得的錯誤。對於神經網絡而言，不可解釋和“含有不可預知的錯誤”似乎劃上了等號。因爲改進神經網絡的是人類，所以排除神經網絡的bug的過程也是追求可解釋性的過程。除非，人類採用一種自己也無法理解的方式去排除bug。
雖然人類自身做出的很多判斷也是不可解釋的，但是人類是一個比目前的AI完善得多的系統，因此人類會信任自身，而且很多情況下也是迫不得已，畢竟找不到更好的替代物。在一些情況下，專業人士的解釋我們聽不懂，但是出於對同類的信任，以及我們相信至少有人理解過，我們也會接受。可解釋的系統（例如操作系統）也可能含有不可預知的錯誤，但是這些錯誤可以追根溯源，給出一個令人信服的解釋，符合人類追求確定性的心理。
人類最怕的是出錯而且找不到出錯原因，可解釋AI一定程度上是爲了迎合人類這個心理而發展出的方向。雖然如此，這個方向也有很強的合理性，因爲現階段的AI很難發展出完全超出人類理解能力的方式，這種情況下，人類讓AI的原理可以被人類理解也是完善AI的過程。即使AI理解世界的方式和人類不同，很多原理還是相通的，人類可以幫助AI解決它自身發現不了或解決不了的問題。至於未來，當AI已經遠遠超過人類時，由於差距太大，也許人類再也無法理解AI。相信這時的AI已經非常完善了，人類也幫不上忙，此時則可以不追求可解釋性。