PRML-讀書筆記（一）介紹 書中用到…

    PRML是Bishop的也是經典著作啊

    首先介紹了PR是起源自engineering，ML起源於CS，其實是一個領域的不同方面而已。

    整篇要使用的了3大工具：probability theory, decision theory, and information theory。

    1，probability theory    

    Probability theory provides a consistent framework for the quantification and manipulation of uncertainty and forms one of the central foundations for pattern recognition.

    When combined with decision theory,it allows us to make optimal predictions given all the information available to us, even though that information may be incomplete or ambiguous.

    

   貝葉斯公式：  

   p(B)是先驗概率，p(B|F)是後驗概率

   如果p(X, Y)=p(X)p(Y) 那麼Y和X是獨立的，這樣的話p(Y|X)=p(Y)。

   

   概率密度函數：

   if the probability of a real-valued variable x falling in the interval(x, x+δx)is given by p(x)δxforδx→0, then p(x)is called the probability density over x.

                   

   概率密度函數需要滿足的條件是：

             

   如果x=g(y) 那麼：

                  

   累積分佈函數：

                   
   

   求和以及乘積法則以及貝葉斯定理應用於概率密度函數上，就得到：

                       

   期望以及協方差：

   The average value of some function f(x)under a probability distribution p(x)is called the expectation of f(x)and will be denoted by E[f].

   離散變量以及連續變量形式分別爲：

   

   如果是從概率分佈或者概率密度上面的N個點，那麼期望能夠近似的表示爲：

     

   在多變量情況下，Ex[f(x, y)]表示函數f(x, y)在x分佈上的均值。

   還考慮關於條件分佈的條件期望：

               

   函數f(x)的方差表示爲：

                 

   它提供了對f(x)與它的方差之間的差異性的一種測量。

   展開後得到：

                 

   對於兩個變量的協方差表示爲：

                  

   如果x,y 是向量的話，那麼協方差就是矩陣：

                   

   變量自身的協方差表示爲：cov[x]≡cov[x,x]

  

  貝葉斯概率：