likelihood ratio與Radon-Nikodym derivative

隨機過程和系統的仿真,尤其碰到稀有事件時,常常採用一個新的概率測度替代原有的自然概率測度仿真,以增大稀有事件的發生概率(change of measure,重要抽樣)。比如我們想通過仿真(Monte Carlo)估計樣本空間中的某個集合A的概率(很小,比如10-8次方級),如果採用自然概率測度,則平均要仿真一億次才能得到一個樣本落在這個集合裏面。這樣需要仿真多個億次才能得到有效的估計。爲克服這個問題,我們可以採用一個新的概率測度,在這個新的測度下,讓集合A出現的概率變大,甚至大到1,也就是說仿真的每一個樣本點都落在集合A裏面。當然,在結果統計時,一個樣本點不能算1個,而必須乘以likelihood ratio來糾偏。進一步,假設集合A的一個劃分:子集A1,A2, A3. 其中A3的自然概率比A1,A2小很多(比如A1, A210-8次方級,而A310-12次方級). 這樣估計集合A的概率時我們可以忽略A3。於是我們可以選擇一個新的概率測度,讓全部樣本點都落在A1,A2裏面。
對於這樣一種做法,有一些事件(
A3)在原有的自然概率測度下其概率不等於0而在新的概率測度下爲0。根據Radon-Nikodym定理,此時Radon-Nikodymderivative是不存在的,但是likelihood ratio卻可以有意義的計算,因爲既然那些事件在新的概率測度下概率爲0,它們在仿真過程中就不會出現,因此likelihood ratio中也不會出現分母爲0的情況。

似然比(likelihoodratio, LR) ,我們特指似然比檢驗,它是一個統計學研究中得出的一個概念,它是似然函數的比值。基於此值我們可以在兩個不同假設中作出選擇,常在極大似然比檢驗中見到。

Radon-Nikodym derivative 是泛函分析研究中得出的一個概念:給定測度空間(X,Σ),  如果該空間上有兩個σ-有限測度νμ,並且ν關於μ絕對連續(就是對任意集合A,如果μA=0,則νA=0),那麼在集合X上存在一個取值於[0,∞)的可測函數f 使得(A)=f(A) ,在隨機方程中也經常出現。

Radon-Nikodym derivative 涉及到概率比,即對應分佈比,它就是一種似然比,新概率關於舊概率絕對連續的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章