當我們由於缺乏關於某個實數上分佈的先驗知識而不知道該選擇怎麼樣的形式時，正態分佈是默認的比較好的選擇，有兩個原因：
一，我們想要建模的很多分佈的真實情況是比較接近正態分佈的。 中心極限定理說明很多獨立隨機變量的和近似服從正態分佈。
二，在具有相同方差的所有可能的概率分佈中，正態分佈在實數上具有最大的不確定性。 因此，我們可以認爲正態分佈是對模型加入的先驗知識量最少的分佈。
補充中心極限定理：
客觀背景：在實際中有許多隨機變量，它們是由大量的相互獨立的隨機因素的綜合影響所形成的，而其中每一個別因素在總的影響中所起的作用都是微小的，這種隨機變量往往近似服從正態分佈。
這一事實，表明了正態分佈的重要性，及爲什麼實際應用中會常遇到正態分佈。另一方面，它提供了獨立同分布隨機變量之和的近似分佈，只要和式中加項的個數充分大，就可以不必考慮和式中的隨機變量服從什麼分佈，都可以採用正態分佈來近似。