一些基本概念

/* 說明：以下內容全部摘自Wikipedia */

 

退火 （Annealing ）

在冶金學 或材料工程 中，退火是一種改變材料微結構，進而改變如硬度 、強度 的機械性質的熱處理 。

過程爲將金屬加溫到某個高於再結晶溫度的一點並維持此溫度一段時間，再將其緩慢冷卻。退火的功用在於回覆因冷加工 而降低的性質，增加柔軟性、延性 和韌性 ，並釋放內部殘留應力、以及產生特定的顯微結構。退火過程中，多以原子或晶格空位的移動釋放內部殘留應力，透過這些原子重組的過程來消除金屬或陶瓷中的差排 ，然而這項改變動也讓金屬中的差排更易移動，增加了它們的延性。

在銅 、鋼鐵 、銀 、黃銅 的案例中，退火需要歷經很高的高溫，通常都要讓加熱到金屬熾熱爲止，並維持一段時間再冷卻。不像其它含鐵的合金需要緩慢冷卻，銅、銀^[1] 和黃銅他們可以在空氣緩慢冷卻，也可以快速在水中淬火 。退火過後的金屬之後可以再拿去做進一步加工，如衝壓 、塑造、成形等。

歸納偏置(Inductive bias) //這個概念我覺得很抽象...

 

維基百科，自由的百科全書

跳轉到： 導航 , 搜索

當學習器去預測其未遇到過的輸入的結果時，會做一些假設（Mitchell, 1980）。而學習算法 中的歸納偏置 則是這些假設的集合。

機器學習 試 圖去建造一個可以學習的算法，用來預測某個目標的結果。要達到此目的，要給於學習算法一些訓練樣本，樣本說明輸入與輸出之間的預期關係。然後假設學習器在 預測中逼近正確的結果，其中包括在訓練中未出現的樣本。既然未知狀況可以是任意的結果，若沒有其它額外的假設，這任務就無法解決。這種關於目標函數的必要 假設就稱爲歸納偏置 （Mitchell, 1980; desJardins and Gordon, 1995）。

一個典型的歸納偏置例子是奧卡姆剃刀 ，它假設最簡單而又一致的假設是最佳的。這裏的一致是指學習器的假設會對所有樣本產生正確的結果。

歸納偏置比較正式的定義是基於數學上的邏輯 。這裏，歸納偏置是一個與訓練樣本一起的邏輯式子，其邏輯上會蘊涵學習器所產生的假設。然而在實際應用中，這種嚴謹形式常常無法適用。在有些情況下，學習器的歸納偏置可能只是一個很粗糙的描述（如在人工神經網絡 中），甚至更加簡單。

 

歸納偏置的種類

以下是機器學習中常見的歸納偏置列表：

• 最大條件獨立性 （conditional independence）：如果假說能轉成貝葉斯模型 架構，則試着使用最大化條件獨立性。這是用於樸素貝葉斯分類器 （Naive Bayes classifier）的偏置。
• 最小交叉驗證 誤差 ：當試圖在假說中做選擇時，挑選那個具有最低交叉驗證誤差的假說，雖然交叉驗證看起來可能無關偏置，但天下沒有免費的午餐 理論顯示交叉驗證已是偏置的。
• 最大邊界 ：當要在兩個類別間畫一道分界線時，試圖去最大化邊界的寬度。這是用於支持向量機 的偏置。這個假設是不同的類別是由寬界線來區分。
• 最小描述長度 （Minimum description length）：當構成一個假設時，試圖去最小化其假設的描述長度。假設越簡單，越可能爲真的。見奧卡姆剃刀 。
• 最少特徵數 （Minimum features）：除非有充分的證據顯示一個特徵是有效用的，否則它應當被刪除。這是特徵選擇 （feature selection）算法背後所使用的假設。
• 最近鄰居 ：假設在特徵空間 （feature space）中一小區域內大部分的樣本是同屬一類。給一個未知類別的樣本，猜測它與它最緊接的大部分鄰居是同屬一類。這是用於最近鄰居法 的偏置。這個假設是相近的樣本應傾向同屬於一類別。

偏置變換

雖然大部分的學習算法使用固定的偏置，但有些算法在獲得更多數據時可以變換它們的偏置。這不會取消偏置，因爲偏置變換的過程本身就是一種偏置。

 

公理

維基百科，自由的百科全書

（重定向自公設 ）

在傳統邏輯 中，公理 是無法被證明或決定對錯，但被設爲不證自明的一個命題。因此，其真實被視爲是理所當然的，且被當做演繹及推論其他（理論相關）事實的起點。當不斷要求證明 時，因果關係畢竟不能無限地追溯，而需停止於無需證明的公理。通常公理都很簡單，且符合直覺，如“若a = b，則a+c = b+c”。

在數學 中，公理 這一詞被用於兩種相關但相異的意思之下——邏輯公理 和非邏輯公理 。在兩者之下，公理是用來推導其他命題的起點。和定理 不同，公理（除非過多）是不能由演繹原則來推導，也不能經由數學證明 來決定對錯，只因爲它們是起點；公理無法由任何其他地方推導而來（不然它們就會被歸爲定理 ）。

邏輯公理 通常是被視爲普通真實的陳述（如 (A ∧ B) → A），而非邏輯公理 （如a + b = b + a ）則實際上是在一特定數學理論（如算術 ） 中的規範性質。在後者的意思之下，公理又可被稱爲“ 公設 ”。一般而言，非邏輯公理並不是一個不證自明的事實，而應該說是一個被用來推導以建構一個數學定律 的形式邏輯表示式。要公理化一套知識，就是要去證明這套知識的主張都可以由一套少許明確的陳述（公理）推導出來。一般都可以有兩種以上的方法來公理化一個 給定的數學領域。

形式系統

維基百科，自由的百科全書

在邏輯 與數學 中，一個形式系統 是由兩個部分組成的，一個形式語言 加上一個推理規則 或轉換規則的集合。一個形式系統也許爲了其目的，是純粹抽象的方程式，但也可能是爲了描述真實現象或實際物件的領域而設計的。

元數學

維基百科，自由的百科全書

跳轉到： 導航 , 搜索

一般來說，元數學是一種將數學作爲人類意識 和文化 客體 的科學思維或知識。更進一步來說，元數學是一種用來研究數學和數學哲學的數學。“數學的數學”是於19世紀初由通常的數學分離出來的，它最初研究的對象是在所謂的數學危機 。將二者混爲一談會導致一些矛盾，典型例子有理查德悖論 。

比如說，元數學的主題之一就是：分析某些數學要素是否在任意的數學系統中都是可證實或者證僞的。

許多關於數學基礎與數學哲學的論說都涉及元數學的概念，它們往往不能被當作我們通常所說的“問題”來處理。元數學的基本假設是：數學的內容可以由一個形式系統獲得，比如一個序理論或一個公理化集合論。

元數學與數理邏輯休慼相關，因而這兩者的發展也大同小異。元數學的發端大概要追溯到弗雷格 的工作：《概念文字 》。大衛·希爾伯特 首先引進了帶有正則性的“元數學”（metamathematics with regularity）這一說法（見希爾伯特計劃 ）。這也就是現在所說的證明論 。另一個重要的現代分支是模型論 。這一領域的其他重要人物有：伯特蘭·羅素 ，斯科爾姆（Thoralf Skolem），普斯特（Emil Post），邱奇 ，克萊尼 ，蒯因 ，貝納瑟拉夫（Paul Benacerraf），普特南 ，柴汀（Gregory Chaitin），以及最著名的塔斯基 和哥德爾 。特別地，哥德爾證明了：給定任意有限多條皮亞諾算術 的公理，都存在一些正確的命題，無法用所給公理來證明，即所謂的哥德爾不完備定理 。某種意義上來說，這一結果是迄今爲止元數學與數學哲學的最高成就。

 

 

不確定性原理

摘自:http://zh.wikipedia.org/zh-hant/%E6%B5%B7%E6%A3%AE%E5%A0%A1%E6%B8%AC%E4%B8%8D%E6%BA%96%E5%8E%9F%E7%90%86

海森堡不確定性原理 （英語 ：Heisenberg Uncertainty Principle。有時也被譯成海森堡測不準原理 。）是指在一個量子力學 系統中，一個粒子 的位置 和它的動量 不可被同時確定。位置的不確定性 和動量的不確定性 是不可避免的：

；

其中 是約化普朗克常數 。

類似的不確定性也存在於能量 和時間 ，角動量 和角度 等許多物理量之間：

。

換句話說， 的不確定性與 的不確定性的乘積至少是 與 對易算符 的期望值 除以 所得到的除商的絶對值。

不確定性也是一種波 的特性。在經典物理 中波也有不確定性。比如波的頻率 和波到達的時間之間就有不確定性。要測量頻率，就要等幾個波峯 的到達，但這樣一來波到達的時間就沒法被精確地測量了。

1927 年，德國物理學家海森堡 首先提出了量子力學中的不確定性。

 

觀察者效應

不確定性原理時常會被解釋為：粒子位置的測量必然地擾亂了粒子的動量；反過來說也對，粒子動量的測量必然地擾亂了粒子的位置。換句話說，不確定性原理是一種觀察者效應的顯示。

這解釋時常會導致一種錯誤的想法，在概念上，似乎這擾亂是可以避免的；粒子的量子態可以同時擁有明確的位置和明確的動量，問題是我們所設計的最尖端 實驗儀器仍舊無法製備出這些量子態。但是，在量子力學裏，明確位置與明確動量的量子態並不存在。我們不能怪罪於實驗儀器。所以，由於這方面的原因，我們最 好稱它為不確定性原理，而不是測不準原理。

奧卡姆剃刀

奧卡姆剃刀 （Occam's Razor, Ockham's Razor ），又稱“奧坎的剃刀”，是由14世紀 邏輯學 家、聖方濟各會 修士 奧卡姆的威廉 （William of Occam，約1285年 至1349年 ）提出。奧卡姆（Ockham）位於英格蘭 的薩里郡 。他在《箴言書注》2卷15題說“切勿浪費較多東西，去做‘用較少的東西，同樣可以做好的事情’。”

應用

今天，奧卡姆剃刀常用於兩種假說的取捨上：如果對於同一現象有兩種不同的假說，我們應該採取比較簡單的那一種。

[編輯 ] 科學

對於科學家，奧卡姆剃刀原理還有一種更爲常見的表述形式：當你有兩個處於競爭地位的理論能得出同樣的結論，那麼簡單的那個更好。這一表述也有一種更 爲常見的強形式：如果你有兩個原理，它們都能解釋觀測到的事實，那麼你應該使用簡單的那個，直到發現更多的證據。

 

許多科學家接受或者（獨立的）提出了奧卡姆剃刀原理，例如萊布尼玆的“不可觀測事物的同一性原理”和牛頓提出的一個原則：如果某一原因既真又足以解 釋自然事物的特性，則我們不應當接受比這更多的原因。奧卡姆剃刀以結果爲導向，始終追尋高效簡潔的方法，600多年來，這一原理在科學上得到了廣泛的應 用，從牛頓的萬有引力到愛因斯坦的相對論，奧卡姆剃刀已經成爲重要的科學思維理念。

日常生活

作爲一種思維理念，當然並不僅僅侷限於某一些領域，事實上，奧卡姆剃刀在社會各方面已得到越來越多的應用。 奧卡姆剃刀同時也是一種生活理念。這個原理要求我們在處理事情時，要把握事情的本質，解決最根本的問題。尤其要順應自然，不要把事情人爲地複雜化，這樣才 能把事情處理好。 愛因斯坦說：“如果你不能改變舊有的思維方式，你也就不能改變自己當前的生活狀況。”當你用奧卡姆剃刀改變你的思維時，你的生活將會發生改變。 在運用奧卡姆剃刀時應牢記愛因斯坦的一句著名的格言：萬事萬物應該都應儘可能簡潔，但不能過於簡單。

奧克姆剃刀原理，核心思想是說：在同一表象下，比較簡單的那個理論更可能是正確的那一個。比如說：一個蘋果掉下來，同時又兩種解釋：1.有些怪獸把 它弄下來了；2.一場暴風雨吹落了。第二種因爲比較簡單，或者換種說法，第一種比較複雜，因爲還需要認證怪獸的存在性，所以更有可能是對的。但是，這裏又 涉及到如何定義“簡單”的概念，一般意義上來說：越少實體介入的，就是越簡單的。

例子：一個男孩在口袋裏找到了一張錢幣，解釋緣由的理論有以下幾種： 1. 他的朋友放到了他的口袋裏； 2. 他的朋友爲了感謝他放到了他的口袋裏； 3. 昨天他的朋友爲了感謝他放到了他的口袋裏； 在這以上三種中，明顯第一種是最簡單的，因爲第二，第三逐漸加入了更多的實體，如目的，時間等。因爲介入了更多的實體，那理論正確的可能性就小了。雖然此 理論也不直接斷定說最簡單的理論就一定是正確的。例如此例子中，事實真正的原因可能就是：小男孩昨天晚上自己放進去的錢，但是忘記了。

 

奧卡姆理論雖然在自然科學（如物理學等）領域有很廣泛的應用性，但是在法律學，心理學，宇宙學方面普遍被認爲不很適用。如法律學，講究的是越多越好的證據，推斷，假設等；至於心理學宇宙學等，都是偏向複雜解釋的學科。