原创 相關矩陣小結

相關矩陣在統計分析和離散時間濾波器的設計中起着非常重要的作用。 對於平穩隨機過程,由於它在時域由均值常數和自相關函數兩個參數唯一確定,而我們可以通過減均值使隨機過程的均值爲0,因此可以由自相關函數或自相關矩陣來唯一確定一個零均值平穩隨機過

原创 線性模型與線性過程

線性過程是通過一系列獨立脈衝(一般爲零均值和常數方差的高斯分佈)激勵一個線性模型(濾波器)產生的隨機過程。 線性模型(濾波器)分爲三類,分別稱爲自迴歸模型(AR),滑動平均模型(MA)和自迴歸滑動平均模型(ARMA); 一個ARMA過程可

原创 KL散度(Kullback–Leibler divergence)

相對熵(relative entropy)又稱爲KL散度(Kullback–Leibler divergence,簡稱KLD),信息散度(information divergence)。 KL散度是描述兩個概率分佈P和Q差異的一種非對稱(