啓發式：而啓發式方法（試探法）是一種幫你尋求答案的技術，但它給出的答案是具有偶然性的（subject to chance），因爲啓發式方法僅僅告訴你該如何去找，而沒有告訴你要找什麼。它並不告訴你該如何直接從A 點到達B 點，它甚至可能連A點和B點在哪裏都不知道。實際上，啓發式方法是穿着小丑兒外套的算法：它的結果不太好預測，也更有趣，但不會給你什麼30 天無效退款的保證。
泛化能力：學習的目的是學到隱含在數據對背後的規律,對具有同一規律的學習集以外的數據,該神經網絡仍具有正確的響應能力,稱爲泛化能力[3].然而,一些神經網絡模型在某些場合的實際應用暴露了其泛化能力有限的問題
在企業的各項管理活動中,例如計劃、生產、運輸、技術等問題,線性規劃是指從各種限制條件的組合中,選擇出最爲合理的計算方法,從而求得最佳結果.決策變量、約束條件、目標函數是線性規劃的三要素
過學習：有時候訓練誤差過小，而推廣能力變差
置信區間、置信限和置信度 所謂置信區間是指母體參數具有一定概率(可靠度,又稱置信概率)落入的區間(範圍).置性限就是指置信區間的上、下限,即範圍的兩個端點值
然後講支持向量機，從廣義最優分類面開始，那麼我的問題1：廣義最優分類面是怎樣和上面講到的經驗風險和置信區間聯繫起來的？
問題2： 對於非線性可分情況才使用核函數映射到高維空間，那麼爲什麼常見的svm軟件包都直接設置核函數而不論是否線性可分？
1實現結構風險最小化的方法不是唯一的，SVM只是一種比較實際的方法。支持向量機方法是通過降低VC維的上界，即降低泛化誤差或者說是置信區間，然後在VC維比較小的函數集中實現經驗風險最小化。
2 有相關證明證實一定存在合適的核函數可以解決非線性可分問題，但是現成沒有給出相關的構造理論來指導如何構造這個核函數。平常採用的只能是一些啓發式的方法或者藉助於特定領域中的先驗知識。
（轉）統計學習理論是研究利用經驗數據進行機器學習的一種一般理論，屬於計算機科學、模式識別和應用統計學相交叉與結合的範疇，其主要創立者是本書的作者Vladimir N. Vapnik。統計學習理論的基本內容誕生於20世紀60~70年代，到90年代中期發展到比較成熟並受到世界機器學習界的廣泛重視，其核心內容反映在Vapnik的兩部重要著作中，本書即是其中一部，另一部是“The Nature of Statistical Learning Theory”（《統計學習理論的本質》）。 由於較系統地考慮了有限樣本的情況，統計學習理論與傳統統計學理論相比有更好的實用性，在這一理論下發展出的支持向量機（SVM）方法以其有限樣本下良好的推廣能力而備受重視。
從觀測數據中學習歸納出系統運動規律，並利用這些規律對未來數據或無法觀測到的數據進行預測一直是智能系統研究的重點。傳統學習方法中採用的經驗風險最小化準則（empirical risk minimization, ERM），雖然可以使訓練誤差最小化，但並不能最小化學習過程的泛化誤差。ERM不成功的例子就是神經網絡的過學習問題，爲此vapnik;提出了結構風險最小化準則（structural risk minimization,SRM）通俗地說就是通過對推廣誤差(風險)上界的最小化達到最大的泛化能力。Vapnik提出的支持向量機（support vector machine,SVM）就是這種思想的具體實現。支持向量機的基本思想是在樣本空間或特徵空間，構造出最優超平面，使得超平面與不同類樣本集之間的距離最大，從而達到最大的泛化能力。
支持向量機方法本質上是一個非負的二次型優化問題。在理論上可以得到全局最優的解析解，因此ＳＶＭ不存在局部最優化問題．
支持向量機方法求解最優分類問題，其本質上是一個二次規劃問題
運行時間和計算內存是海量樣本數據求解SVM的主要瓶頸!針對海量樣本數據如何減少二次規劃求解過程的計算時間和內存一直是SVM的研究熱點