機器學習基石 - Training versus Testing

機器學習基石上 (Machine Learning Foundations)—Mathematical Foundations
Hsuan-Tien Lin, 林軒田，副教授 (Associate Professor)，資訊工程學系 (Computer Science and Information Engineering)

Training versus Testing

Recap and Preview

the Statistical Learning Flow

Two Central Questions

• Tradeoff(權衡) on M (or |H|)$M(or|\mathcal{H}|)$
  

• M$M$ can’t be ∞$\mathrm{\infty }$

Effective Number of Lines

• 假設條件會有重疊的情況，除去 overlap，剩下多少種？
  
• must ≤2N$\le 2^N$
• an=2+n(n−1)$a_n=2+n(n-1)$
  
  • 化爲平面上任意三點不共線的n$n$ 個點，用一條直線去劃分，有多少種情況這個問題
  • 直線把點分成兩份，(0,n) (1,n−1) (2,n−2)⋯$(0,n)(1,n-1)(2,n-2)\cdots$ ，分奇偶來證明
  • 有遞推式 an=an−1+(n−1)$a_n=a_{n-1}+(n-1)$ ，設想新加的點和原來的一個點是一體的，有了 an−1$a_{n-1}$ ，再用新點構造其他類別
• finite grouping of infinitely-many lines ∈H$\in \mathcal{H}$ (H$\mathcal{H}$ 中的線的種類是有限的)

Effective Number of Hypotheses

• dichotomies(mini-hypothesis) implemented by H$\mathcal{H}$
  

• dichotomy 數量的最大值 mH(N)$m_{\mathcal{H}}(N)$ 來取代M$M$ ，growth function
  

• Growth Function 不同類型

  • Positive Rays
    
  • Positive Interval
    
  • Convex Sets
    

Break Point

• polynomial(多項式的)，exponential(指數的)

• conjecture(猜想)