卡爾曼濾波器 – Kalman Filter
1． 什麼是卡爾曼濾波器
（What is the Kalman Filter?）
在學習卡爾曼濾波器之前，首先看看爲什麼叫“卡爾曼”。跟其他著名的理論（例如傅立葉變換，泰勒級數等等）一樣，卡爾曼也是一個人的名字，而跟他們不同的是，他是個現代人！
卡爾曼全名Rudolf Emil Kalman，匈牙利數學家，1930年出生於匈牙利首都布達佩斯。1953，1954年於麻省理工學院分別獲得電機工程學士及碩士學位。1957年於哥倫比亞大學獲得博士學位。我們現在要學習的卡爾曼濾波器，正是源於他的博士論文和1960年發表的論文《A New Approach to Linear Filtering and Prediction Problems》（線性濾波與預測問題的新方法）。如果對這編論文有興趣，可以到這裏的地址下載：http://www.cs.unc.edu/~welch/media/pdf/Kalman1960.pdf。
簡單來說，卡爾曼濾波器是一個“optimal recursive data processing algorithm（最優化自迴歸數據處理算法）”。對於解決很大部分的問題，他是最優，效率最高甚至是最有用的。他的廣泛應用已經超過30年，包括機器人導航，控制，傳感器數據融合甚至在軍事方面的雷達系統以及導彈追蹤等等。近年來更被應用於計算機圖像處理，例如頭臉識別，圖像分割，圖像邊緣檢測等等。
2．卡爾曼濾波器的介紹
（Introduction to the Kalman Filter）
爲了可以更加容易的理解卡爾曼濾波器，這裏會應用形象的描述方法來講解，而不是像大多數參考書那樣羅列一大堆的數學公式和數學符號。但是，他的5條公式是其核心內容。結合現代的計算機，其實卡爾曼的程序相當的簡單，只要你理解了他的那5條公式。
在介紹他的5條公式之前，先讓我們來根據下面的例子一步一步的探索。
假設我們要研究的對象是一個房間的溫度。根據你的經驗判斷，這個房間的溫度是恆定的，也就是下一分鐘的溫度等於現在這一分鐘的溫度（假設我們用一分鐘來做時間單位）。假設你對你的經驗不是100%的相信，可能會有上下偏差幾度。我們把這些偏差看成是高斯白噪聲（White Gaussian Noise），也就是這些偏差跟前後時間是沒有關係的而且符合高斯分配（Gaussian Distribution）。另外，我們在房間裏放一個溫度計，但是這個溫度計也不準確的，測量值會比實際值偏差。我們也把這些偏差看成是高斯白噪聲。
好了，現在對於某一分鐘我們有兩個有關於該房間的溫度值：你根據經驗的預測值（系統的預測值）和溫度計的值（測量值）。下面我們要用這兩個值結合他們各自的噪聲來估算出房間的實際溫度值。
假如我們要估算k時刻的是實際溫度值。首先你要根據k-1時刻的溫度值，來預測k時刻的溫度。因爲你相信溫度是恆定的，所以你會得到k時刻的溫度預測值是跟k-1時刻一樣的，假設是23度，同時該值的高斯噪聲的偏差是5度（5是這樣得到的：如果k-1時刻估算出的最優溫度值的偏差是3，你對自己預測的不確定度是4度，他們平方相加再開方，就是5）。然後，你從溫度計那裏得到了k時刻的溫度值，假設是25度，同時該值的偏差是4度。
由於我們用於估算k時刻的實際溫度有兩個溫度值，分別是23度和25度。究竟實際溫度是多少呢？相信自己還是相信溫度計呢？究竟相信誰多一點，我們可以用他們的covariance來判斷。因爲Kg^2=5^2/(5^2+4^2)，所以Kg=0.78，我們可以估算出k時刻的實際溫度值是：23+0.78*(25-23)=24.56度。可以看出，因爲溫度計的covariance比較小（比較相信溫度計），所以估算出的最優溫度值偏向溫度計的值。
現在我們已經得到k時刻的最優溫度值了，下一步就是要進入k+1時刻，進行新的最優估算。到現在爲止，好像還沒看到什麼自迴歸的東西出現。對了，在進入k+1時刻之前，我們還要算出k時刻那個最優值（24.56度）的偏差。算法如下：((1-Kg)*5^2)^0.5=2.35。這裏的5就是上面的k時刻你預測的那個23度溫度值的偏差，得出的2.35就是進入k+1時刻以後k時刻估算出的最優溫度值的偏差（對應於上面的3）。
就是這樣，卡爾曼濾波器就不斷的把covariance遞歸，從而估算出最優的溫度值。他運行的很快，而且它只保留了上一時刻的covariance。上面的Kg，就是卡爾曼增益（Kalman Gain）。他可以隨不同的時刻而改變他自己的值，是不是很神奇！
下面就要言歸正傳，討論真正工程系統上的卡爾曼。
3． 卡爾曼濾波器算法
（The Kalman Filter Algorithm）
在這一部分，我們就來描述源於Dr Kalman 的卡爾曼濾波器。下面的描述，會涉及一些基本的概念知識，包括概率（Probability），隨即變量（Random Variable），高斯或正態分配（Gaussian Distribution）還有State-space Model等等。但對於卡爾曼濾波器的詳細證明，這裏不能一一描述。
首先，我們先要引入一個離散控制過程的系統。該系統可用一個線性隨機微分方程（Linear Stochastic Difference equation）來描述：
X(k)=A X(k-1)+B U(k)+W(k)
再加上系統的測量值：
Z(k)=H X(k)+V(k)
上兩式子中，X(k)是k時刻的系統狀態，U(k)是k時刻對系統的控制量。A和B是系統參數，對於多模型系統，他們爲矩陣。Z(k)是k時刻的測量值，H是測量系統的參數，對於多測量系統，H爲矩陣。W(k)和V(k)分別表示過程和測量的噪聲。他們被假設成高斯白噪聲(White Gaussian Noise)，他們的covariance 分別是Q，R（這裏我們假設他們不隨系統狀態變化而變化）。
對於滿足上面的條件(線性隨機微分系統，過程和測量都是高斯白噪聲)，卡爾曼濾波器是最優的信息處理器。下面我們來用他們結合他們的covariances 來估算系統的最優化輸出（類似上一節那個溫度的例子）。
首先我們要利用系統的過程模型，來預測下一狀態的系統。假設現在的系統狀態是k，根據系統的模型，可以基於系統的上一狀態而預測出現在狀態：
X(k|k-1)=A X(k-1|k-1)+B U(k) ……….. (1)
式(1)中，X(k|k-1)是利用上一狀態預測的結果，X(k-1|k-1)是上一狀態最優的結果，U(k)爲現在狀態的控制量，如果沒有控制量，它可以爲0。
到現在爲止，我們的系統結果已經更新了，可是，對應於X(k|k-1)的covariance還沒更新。我們用P表示covariance：
P(k|k-1)=A P(k-1|k-1) A’+Q ……… (2)
式(2)中，P(k|k-1)是X(k|k-1)對應的covariance，P(k-1|k-1)是X(k-1|k-1)對應的covariance，A’表示A的轉置矩陣，Q是系統過程的covariance。式子1，2就是卡爾曼濾波器5個公式當中的前兩個，也就是對系統的預測。
現在我們有了現在狀態的預測結果，然後我們再收集現在狀態的測量值。結合預測值和測量值，我們可以得到現在狀態(k)的最優化估算值X(k|k)：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1)) ……… (3)
其中Kg爲卡爾曼增益(Kalman Gain)：
Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R) ……… (4)
到現在爲止，我們已經得到了k狀態下最優的估算值X(k|k)。但是爲了要另卡爾曼濾波器不斷的運行下去直到系統過程結束，我們還要更新k狀態下X(k|k)的covariance：
P(k|k)=（I-Kg(k) H）P(k|k-1) ……… (5)
其中I 爲1的矩陣，對於單模型單測量，I=1。當系統進入k+1狀態時，P(k|k)就是式子(2)的P(k-1|k-1)。這樣，算法就可以自迴歸的運算下去。
卡爾曼濾波器的原理基本描述了，式子1，2，3，4和5就是他的5 個基本公式。根據這5個公式，可以很容易的實現計算機的程序。
下面，我會用程序舉一個實際運行的例子。。。
4． 簡單例子
（A Simple Example）
這裏我們結合第二第三節，舉一個非常簡單的例子來說明卡爾曼濾波器的工作過程。所舉的例子是進一步描述第二節的例子，而且還會配以程序模擬結果。
根據第二節的描述，把房間看成一個系統，然後對這個系統建模。當然，我們見的模型不需要非常地精確。我們所知道的這個房間的溫度是跟前一時刻的溫度相同的，所以A=1。沒有控制量，所以U(k)=0。因此得出：
X(k|k-1)=X(k-1|k-1) ……….. (6)
式子（2）可以改成：
P(k|k-1)=P(k-1|k-1) +Q ……… (7)
因爲測量的值是溫度計的，跟溫度直接對應，所以H=1。式子3，4，5可以改成以下：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-X(k|k-1)) ……… (8)
Kg(k)= P(k|k-1) / (P(k|k-1) + R) ……… (9)
P(k|k)=（1-Kg(k)）P(k|k-1) ……… (10)
現在我們模擬一組測量值作爲輸入。假設房間的真實溫度爲25度，我模擬了200個測量值，這些測量值的平均值爲25度，但是加入了標準偏差爲幾度的高斯白噪聲（在圖中爲藍線）。
爲了令卡爾曼濾波器開始工作，我們需要告訴卡爾曼兩個零時刻的初始值，是X(0|0)和P(0|0)。他們的值不用太在意，隨便給一個就可以了，因爲隨着卡爾曼的工作，X會逐漸的收斂。但是對於P，一般不要取0，因爲這樣可能會令卡爾曼完全相信你給定的X(0|0)是系統最優的，從而使算法不能收斂。我選了X(0|0)=1度，P(0|0)=10。
該系統的真實溫度爲25度，圖中用黑線表示。圖中紅線是卡爾曼濾波器輸出的最優化結果（該結果在算法中設置了Q=1e-6，R=1e-1）。
最佳線性濾波理論起源於40年代美國科學家Wiener和前蘇聯科學家Ｋолмогоров等人的研究工作，後人統稱爲維納濾波理論。從理論上說，維納濾波的最大缺點是必須用到無限過去的數據，不適用於實時處理。爲了克服這一缺點，60年代Kalman把狀態空間模型引入濾波理論，並導出了一套遞推估計算法，後人稱之爲卡爾曼濾波理論。卡爾曼濾波是以最小均方誤差爲估計的最佳準則，來尋求一套遞推估計的算法，其基本思想是：採用信號與噪聲的狀態空間模型，利用前一時刻地估計值和現時刻的觀測值來更新對狀態變量的估計，求出現時刻的估計值。它適合於實時處理和計算機運算。
現設線性時變系統的離散狀態防城和觀測方程爲：
X(k) = F(k,k-1)·X(k-1)+T(k,k-1)·U(k-1)
Y(k) = H(k)·X(k)+N(k)
其中
X(k)和Y(k)分別是k時刻的狀態矢量和觀測矢量
F(k,k-1)爲狀態轉移矩陣
U(k)爲k時刻動態噪聲
T(k,k-1)爲系統控制矩陣
H(k)爲k時刻觀測矩陣
N(k)爲k時刻觀測噪聲
則卡爾曼濾波的算法流程爲：
預估計X(k)^= F(k,k-1)·X(k-1)
- 計算預估計協方差矩陣
C(k)^=F(k,k-1)×C(k)×F(k,k-1)'+T(k,k-1)×Q(k)×T(k,k-1)'
Q(k) = U(k)×U(k)'
- 計算卡爾曼增益矩陣
K(k) = C(k)^×H(k)'×[H(k)×C(k)^×H(k)'+R(k)]^(-1)
R(k) = N(k)×N(k)'
- 更新估計
X(k)~=X(k)^+K(k)×[Y(k)-H(k)×X(k)^]
- 計算更新後估計協防差矩陣
C(k)~ = [I-K(k)×H(k)]×C(k)^×[I-K(k)×H(k)]'+K(k)×R(k)×K(k)'
-
X(k+1) = X(k)~
C(k+1) = C(k)~
重複以上步驟
C語言實現Kalman：
#include "stdlib.h"
int lman(n,m,k,f,q,r,h,y,x,p,g)
int n,m,k;
double f[],q[],r[],h[],y[],x[],p[],g[];{ int i,j,kk,ii,l,jj,js;
double *e,*a,*b;
e=malloc(m*m*sizeof(double)); l=m;
if (l<n)
l=n;
a=malloc(l*l*sizeof(double));
b=malloc(l*l*sizeof(double));
for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ ii=i*l j; a[ii]=0.0;
for (kk=0; kk<=n-1; kk )a[ii]=a[ii] p[i*n kk]*f[j*n kk];
}
for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ ii=i*n j; p[ii]=q[ii];
for (kk=0; kk<=n-1; kk )
p[ii]=p[ii] f[i*n kk]*a[kk*l j];
}
for (ii=2; ii<=k; ii ){ for (i=0; i<=n-1; i )
for (j=0; j<=m-1; j )
{ jj=i*l j; a[jj]=0.0;
for (kk=0; kk<=n-1; kk )
a[jj]=a[jj] p[i*n kk]*h[j*n kk];
}
for (i=0; i<=m-1; i )
for (j=0; j<=m-1; j )
{ jj=i*m j; e[jj]=r[jj];
for (kk=0; kk<=n-1; kk )
e[jj]=e[jj] h[i*n kk]*a[kk*l j];
}
js=rinv(e,m);
if (js==0)
{ free(e); free(a); free(b); return(js);}
for (i=0; i<=n-1; i )
for (j=0; j<=m-1; j )
{ jj=i*m j; g[jj]=0.0;
for (kk=0; kk<=m-1; kk )
g[jj]=g[jj] a[i*l kk]*e[j*m kk];
}
for (i=0; i<=n-1; i )
{ jj=(ii-1)*n i; x[jj]=0.0;
for (j=0; j<=n-1; j )
x[jj]=x[jj] f[i*n j]*x[(ii-2)*n j];
}
for (i=0; i<=m-1; i )
{ jj=i*l; b[jj]=y[(ii-1)*m i];
for (j=0; j<=n-1; j )
b[jj]=b[jj]-h[i*n j]*x[(ii-1)*n j];
}
for (i=0; i<=n-1; i )
{ jj=(ii-1)*n i;
for (j=0; j<=m-1; j )
x[jj]=x[jj] g[i*m j]*b[j*l]; }
if (ii<k)
{ for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ jj=i*l j; a[jj]=0.0;
for (kk=0; kk<=m-1; kk )
a[jj]=a[jj]-g[i*m kk]*h[kk*n j];
if (i==j) a[jj]=1.0 a[jj]; }
for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ jj=i*l j; b[jj]=0.0;
for (kk=0; kk<=n-1; kk )
b[jj]=b[jj] a[i*l kk]*p[kk*n j]; }
for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ jj=i*l j; a[jj]=0.0;
for (kk=0; kk<=n-1; kk )
a[jj]=a[jj] b[i*l kk]*f[j*n kk]; }
for (i=0; i<=n-1; i )
for (j=0; j<=n-1; j )
{ jj=i*n j; p[jj]=q[jj];
for (kk=0; kk<=n-1; kk )
p[jj]=p[jj] f[i*n kk]*a[j*l kk];
} } }
free(e); free(a); free(b);
return(js); }
C++實現Kalman：
============================kalman.h================================
// kalman.h: interface for the kalman class.
//
//////////////////////////////////////////////////////////////////////
#if !defined(AFX_KALMAN_H__ED3D740F_01D2_4616_8B74_8BF57636F2C0__INCLUDED_)
#define AFX_KALMAN_H__ED3D740F_01D2_4616_8B74_8BF57636F2C0__INCLUDED_
#if _MSC_VER > 1000
#pragma once
#endif // _MSC_VER > 1000
#include <math.h>
#include "cv.h"
class kalman
{
public:
void init_kalman(int x,int xv,int y,int yv);
CvKalman* cvkalman;
CvMat* state;
CvMat* process_noise;
CvMat* measurement;
const CvMat* prediction;
CvPoint2D32f get_predict(float x, float y);
kalman(int x=0,int xv=0,int y=0,int yv=0);
//virtual ~kalman();
};
#endif // !defined(AFX_KALMAN_H__ED3D740F_01D2_4616_8B74_8BF57636F2C0__INCLUDED_)
============================kalman.cpp================================
#include "kalman.h"
#include <stdio.h>
/* tester de printer toutes les valeurs des vecteurs */
/* tester de changer les matrices du noises */
/* replace state by cvkalman->state_post ??? */
CvRandState rng;
const double T = 0.1;
kalman::kalman(int x,int xv,int y,int yv)
{
cvkalman = cvCreateKalman( 4, 4, 0 );
state = cvCreateMat( 4, 1, CV_32FC1 );
process_noise = cvCreateMat( 4, 1, CV_32FC1 );
measurement = cvCreateMat( 4, 1, CV_32FC1 );
int code = -1;
/* create matrix data */
const float A[] = {
1, T, 0, 0,
0, 1, 0, 0,
0, 0, 1, T,
0, 0, 0, 1
};
const float H[] = {
1, 0, 0, 0,
0, 0, 0, 0,
0, 0, 1, 0,
0, 0, 0, 0
};
const float P[] = {
pow(320,2), pow(320,2)/T, 0, 0,
pow(320,2)/T, pow(320,2)/pow(T,2), 0, 0,
0, 0, pow(240,2), pow(240,2)/T,
0, 0, pow(240,2)/T, pow(240,2)/pow(T,2)
};
const float Q[] = {
pow(T,3)/3, pow(T,2)/2, 0, 0,
pow(T,2)/2, T, 0, 0,
0, 0, pow(T,3)/3, pow(T,2)/2,
0, 0, pow(T,2)/2, T
};
const float R[] = {
1, 0, 0, 0,
0, 0, 0, 0,
0, 0, 1, 0,
0, 0, 0, 0
};
cvRandInit( &rng, 0, 1, -1, CV_RAND_UNI );
cvZero( measurement );
cvRandSetRange( &rng, 0, 0.1, 0 );
rng.disttype = CV_RAND_NORMAL;
cvRand( &rng, state );
memcpy( cvkalman->transition_matrix->data.fl, A, sizeof(A));
memcpy( cvkalman->measurement_matrix->data.fl, H, sizeof(H));
memcpy( cvkalman->process_noise_cov->data.fl, Q, sizeof(Q));
memcpy( cvkalman->error_cov_post->data.fl, P, sizeof(P));
memcpy( cvkalman->measurement_noise_cov->data.fl, R, sizeof(R));
//cvSetIdentity( cvkalman->process_noise_cov, cvRealScalar(1e-5) );
//cvSetIdentity( cvkalman->error_cov_post, cvRealScalar(1));
//cvSetIdentity( cvkalman->measurement_noise_cov, cvRealScalar(1e-1) );
/* choose initial state */
state->data.fl[0]=x;
state->data.fl[1]=xv;
state->data.fl[2]=y;
state->data.fl[3]=yv;
cvkalman->state_post->data.fl[0]=x;
cvkalman->state_post->data.fl[1]=xv;
cvkalman->state_post->data.fl[2]=y;
cvkalman->state_post->data.fl[3]=yv;
cvRandSetRange( &rng, 0, sqrt(cvkalman->process_noise_cov->data.fl[0]), 0 );
cvRand( &rng, process_noise );
}
CvPoint2D32f kalman::get_predict(float x, float y){
/* update state with current position */
state->data.fl[0]=x;
state->data.fl[2]=y;
/* predict point position */
/* x'k=A鈥k B鈥k
P'k=A鈥k-1*AT Q */
cvRandSetRange( &rng, 0, sqrt(cvkalman->measurement_noise_cov->data.fl[0]), 0 );
cvRand( &rng, measurement );
/* xk=A?xk-1 B?uk wk */
cvMatMulAdd( cvkalman->transition_matrix, state, process_noise, cvkalman->state_post );
/* zk=H?xk vk */
cvMatMulAdd( cvkalman->measurement_matrix, cvkalman->state_post, measurement, measurement );
/* adjust Kalman filter state */
/* Kk=P'k鈥T鈥?H鈥'k鈥T R)-1
xk=x'k Kk鈥?zk-H鈥'k)
Pk=(I-Kk鈥)鈥'k */
cvKalmanCorrect( cvkalman, measurement );
float measured_value_x = measurement->data.fl[0];
float measured_value_y = measurement->data.fl[2];
const CvMat* prediction = cvKalmanPredict( cvkalman, 0 );
float predict_value_x = prediction->data.fl[0];
float predict_value_y = prediction->data.fl[2];
return(cvPoint2D32f(predict_value_x,predict_value_y));
}
void kalman::init_kalman(int x,int xv,int y,int yv)
{
state->data.fl[0]=x;
state->data.fl[1]=xv;
state->data.fl[2]=y;
state->data.fl[3]=yv;
cvkalman->state_post->data.fl[0]=x;
cvkalman->state_post->data.fl[1]=xv;
cvkalman->state_post->data.fl[2]=y;
cvkalman->state_post->data.fl[3]=yv;
}
