隨機過程學習筆記1：泊松過程

隨機過程的一般概念

隨機過程：$T$是$(-\infty,\infty)$的子集，對於每個$t\in T$，$X_t$是隨機變量，則稱隨機變量的集合$\{X_t|t\in T\}$是隨機過程，$T$是隨機過程的$\underline{指標集}$
隨機過程的觀測或實現：對每個$t\in T$，都得到了$X_t$的觀測值$x_t$，稱$\{x_t|t\in T\}$是$\{X_t|t\in T\}$是隨機過程的一次實現或一次觀測
軌跡或軌道：當$T$是$[0,\infty)$或$(-\infty,\infty)$時，$\{X_t|t\in T\}$的一次觀測又稱爲是一條軌道或一條軌跡
時間序列：$T=N$或$T=Z$時，隨機過程又稱爲時間序列

計數過程的一般概念

計數過程:用來描述一段時間內發生的某類事件的次數的隨機過程，計數過程$\{N(t)\}$定義爲：$N(t)$是$(0,t]$時間內某事件發生的次數，滿足：
(1)對$t\ge 0$，$N(t)$是取非負整數值的隨機變量
(2)$t\ge s$時，$N(t)\ge N(s)\ge 0$
(3)$N(t)-N(s)$表示$(s,t]$時間段內該事件發生的次數
(4)$N(t)$的軌跡是單調不減右連續的階梯函數
舉例：計數過程可以表示某段時間內收到的手機短信數，某段時間內到達某個車站的乘客數目，某段時間內商場經理收到商品質量的投訴數，某段時間內股票市場股票成交的次數

獨立增量性：對於計數過程$\{N(t)\}$，如果任取$0<t_1<t_2<\cdots<t_n$，隨機變量$N(t_1),N(t_2)-N(t_1),\cdots,N(t_n)-N(t_{n-1})$是相互獨立的，則稱計數過程$\{N(t)\}$具有獨立增量性，該計數過程稱爲獨立增量過程

平穩增量性：如果對計數過程$\{N(t)\}$，對任何的非負實數$s$，隨機變量
$N(t_2)-N(t_1),N(t_2+s)-N(t_1+s)$同分布，則稱該計數過程具有平穩增量性，該計數過程稱爲平穩增量過程

泊松過程

泊松過程的定義

泊松過程 稱滿足以下條件的計數過程$\{N(t)\}$是強度爲$\lambda$的泊松過程：
(1)$\{N(t)\}$是滿足$N(0)=0$的獨立增量過程和平穩增量過程
(2)$N(t)$滿足參數爲$\lambda t$的泊松分佈

強度的含義：$EN(t)=\lambda t$，故單位時間內發生的平均事件數爲$\frac{EN(t)}{t}=\lambda$因此，強度的實際含義是單位時間內發生時間的平均次數

等價定義：如果計數過程$\{N(t)\}$滿足：
(1)$N(0)=0$
(2)$\{N(t)\}$是獨立增量過程和平穩增量過程
(3)$\{N(t)\}$滿足普通性，即：$\begin{cases} P(N(h)=1)=\lambda h+o(h)\\ P(N(h)\ge 2)=o(h) \end{cases}$則$\{N(t)\}$是強度爲$\lambda$的泊松過程（通俗地講是，在極短的時間內，發生一次時間的概率同時間幾乎成正比，幾乎不可能發生兩次或以上事件）

證：
令$f_0(h)=P\{N(h)=0\}=1-P\{N(h)=1\}-P\{N(h)\ge 2\}=1-\lambda h+o(h)$，則當$\Delta h>0$時$\begin{aligned} &f_0(h+\Delta h)=P\{N(h+\Delta h)=0\}\\=&P\{N(h)=0,N(h+\Delta h)-N(h)=0\}\\ =&P\{N(h)=0\}P\{N(\Delta h)=0\}\\ =&f_0(h)f_0(\Delta h) \end{aligned}$上式的第二個等號，可以從兩個角度理解
第一個角度，計數過程的取值都是非負整數，且滿足單調性，$\Delta h>0$，而$N(h+\Delta h)=N(h)+N(h+\Delta h)-N(h)$，由於$N(h),N(h+\Delta h)-N(h)$都取非負整數值，兩者之和爲零的充要條件是兩者均爲0，如果$\Delta h<0$
第二個角度，從計數過程的定義來看，$(0,h+\Delta h]$這段時間內沒有任何事件發生的充要條件當然是$(0,h],(h,h+\Delta h]$時間段內都沒有任何事件發生，這兩段時間內只要有任何一段發生了一次事件，那麼$(0,h+\Delta h]$這段時間內都至少會發生1次事件
於是，當$\Delta h>0$時，就有$f_0(h+\Delta h)-f_0(h)=[f_0(\Delta h)-1]f(h)=[-\lambda \Delta h+o(\Delta h)]f_0(h)$兩邊除以$\Delta h$，再令$\Delta h\to 0^+$，即可證得$f(h)$的右導數存在，並且$f_0^{+}(h)=-\lambda f_0(h)$如果$\Delta h<0$，那麼$f_0(h)=f_0(h+\Delta h)f_0(-\Delta h)$因此$f_0(h+\Delta h)-f_0(h)=f_0(h+\Delta h)[1-f_0(-\Delta h)]=f_0(h+\Delta h)[-\lambda \Delta h+o(\Delta h)]$由上式不難得出$\displaystyle \lim_{\Delta \to 0^-}f_0(h+\Delta h)=f(h)$，兩邊除以$\Delta h$，再令$\Delta h\to 0^-$，即可證得$f(h)$的左導數也存在，並且$f^{-}_0(h)=-\lambda f_0(h)$故$f(h)$在$h=0$處可導，且滿足微分方程$f_0^\prime(h)=-\lambda f_0(h)$方程的通解爲$f_0(h)=Ce^{-\lambda h}$令$h=0$，$f_0(h)=1$，故$C=1$，從而得到$P\{N(h)=0\}=e^{-\lambda h}$。接下來就可以求解$P\{N(h)=1\}$，同樣地，我們令$f_1(h)=P\{N(h)=1\}$，當$\Delta h>0$時$f_1(h+\Delta h)=f_1(h)f_0(\Delta h)+f_1(\Delta h)f_0(h)$因此$\begin{aligned} &f_1(h+\Delta h)-f_1(h)=f_1(h)[f_0(\Delta h)-1]+f_1(\Delta h)f_0(h)\\ =&f_1(h)[-\lambda \Delta h +o(\Delta h)]+[\lambda \Delta h+o(\Delta h)]e^{-\lambda h} \end{aligned}$兩邊除以$\Delta h$，令$\Delta \to 0^+$，即可證得$f_1(h)$在$h$處存在右導數，並且$f^+_1(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$如果$\Delta h<0$，有$\begin{aligned} &f_1(h+\Delta h)-f(h)\\ =&f_1(h+\Delta h)[1-f_0(-\Delta h)]-f_1(-\Delta h)f_0(h+\Delta h)\\ =&[-\lambda \Delta h +o(\Delta h)]f_1(h+\Delta h)-[-\lambda \Delta h+o(\Delta h)]f_0(h+\Delta h) \end{aligned}$同理可得$f_1^{-}(h)$存在，並且$f_1^{-}(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$於是$f_1(h)$在$h$處可導，並且滿足微分方程$f_1^\prime(h)=-\lambda f_1(h)+\lambda e^{-\lambda h}$同時$f_1(0)=0$，方程組的通解爲$f_1(h)=\lambda h e^{-\lambda h}+Ce^{-\lambda h}$由$f_1(0)=0$，得到$C=0$，$f_1(h)=\lambda h e^{-\lambda h}$，接下來我們用數學歸納法完成接下來的證明，假設對$k\le n$，都有$P\{N(h)=k\}=\frac{(\lambda h)^k}{k!}e^{-\lambda h}$我們來求$f_{n+1}(h)=P\{N(h)=n+1\}$，我們這裏設$f_k(h)=\frac{(\lambda h)^k}{k!}e^{-\lambda h},k=1,\cdots,n$，同樣地，當$\Delta h>0$時，有$f_{n+1}(h+\Delta h)=\sum_{k=0}^{n+1}f_k(h)f_{n+1-k}(\Delta h)$故$f_{n+1}(h+\Delta h)-f_{n+1}(h)=f_{n+1}(h)(1-f_0(\Delta h))+\sum_{k=0}^nf_k(h)f_{n+1-k}(\Delta h)$兩邊除以$\Delta h$，再令$\Delta h\to 0^+$，可證得$f_{n+1}(h)$在$h$處右導數存在，並且$f_{n+1}^{+}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$模仿上面的證明，可以證得$f_{n+1}$在$h$處左導數也存在，並且$f_{n+1}^{-}(h)=\lambda f_{n+1}(h)+\lambda f_n(h)$故$f_{n+1}^\prime(h)=\lambda f_{n+1}(h)+\frac{\lambda^{n+1}h^n}{n!}e^{-\lambda h}$該微分方程的通解爲$f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}+C e^{-\lambda h}$再由$f_{n+1}(0)=0$，得$C=0$，故$f_{n+1}(h)=\frac{(\lambda h)^{n+1}}{(n+1)!}e^{-\lambda h}$由歸納法，對任意的$n=1,2,\cdots$，就有$P\{N(h)=n\}=\frac{(\lambda t)^n}{n!}e^{-\lambda t}$故$\{N(t)\}$是泊松過程

泊松呼叫流、等待時間、年齡、壽命

先給出這幾個概念，再給出他們的分佈。假設對$\{N(t)\}$對應的事件流，第一次事件發生的時間點爲$S_1$，$S_2$，$S_3$，$\cdots$，我們將其畫在時間軸上，即

泊松呼叫流：計數過程$\{N(t)\}$對應的各事件發生的時刻$\{S_n\}$，$\{S_n\}$是單調遞增的非負時間序列，由泊松呼叫流的一次實現可以得到$\{N(t)\}$的一次實現，由於$N(t)$的含義是在$(0,t]$內發生的事件的次數，故我們只需要數$(0,t]$時間內有多少個$S_i$，如果$N(t)=n$說明：$S_n\le t$，$S_{n+1}>t$，我們得到以下的基本關係式
$\{N(t)< n\}=\{S_n>t\}\\ \{N(t)=n\}=\{S_n\le t < S_{n+1}\}$
等待時間：即相鄰兩次事件發生的時間間隔，即$X_i=S_{i}-S_{i-1},i=1,2,\cdots$，這裏定義$S_0=0$
年齡和壽命：我們把$S_1,S_2,\cdots$想象成更換某種零件的時間點，具體地講，在0時刻第一個零件開始運作，在$S_1$時刻第一個零件損壞，立即更換上第二個零件，在$S_2$時刻，第二個零件損壞，立即更換上第三個零件，以此類推。假設$N(t)=n$，此時已經更換了$n$次零件，即此時運作的是機器的第$n+1$個零件，那麼$S_n$是這個零件開始運作的時刻，$S_{n+1}$是這個零件損壞的時刻，那麼，這個零件的年齡是$t-S_n$，剩餘壽命是$S_{n+1}-t$，將$n$換成$N(t)$，年齡就是$t-S_{N(t)}$，壽命就是$S_{N(t)+1}-t$，前者我們記爲$A(t)$，後者我們記爲$R(t)$

呼叫流的聯合分佈

現在我們來求呼叫流$(S_1,\cdots,S_n)$的分佈，首先求單個$S_n$的分佈：實際上$\{S_n\le t\}=\{N(t)\ge n\}$，於是就得到$S_n$的分佈函數$F_n(t)=\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}$求導即可得到其密度函數$\begin{aligned} p_n(t)=&\sum_{k=n}^\infty k\frac{\lambda^k t^{k-1}}{k!}e^{-\lambda t}-\lambda\sum_{k=n}^\infty \frac{(\lambda t)^k}{k!}e^{-\lambda t}\\ =&\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k-1}}{(k-1)!}e^{-\lambda t}-\lambda \sum_{k=n}^\infty \frac{(\lambda t)^{k}}{k!}e^{-\lambda t}\\ =&\frac{\lambda^n}{\Gamma(n)}t^{n-1}e^{-\lambda t} \end{aligned}$可見$S_n$服從伽馬分佈，參數爲$n,\lambda$，其均值爲$\frac{n}{\lambda}$，接下來我們來求$(S_1,S_2,\cdots,S_n)$的聯合分佈：我們假設其分佈函數爲$F(s_1,s_2,\cdots,s_n)=P\{S_1\le s_1,S_2\le s_2,\cdots,S_n\le s_n\}$如果$i<j$,但$s_i>s_j$，那麼$\begin{aligned} &P\{S_1\le s_1,\cdots,S_i>s_i,\cdots,S_j\le s_j,\cdots,S_n\le s_n\}\\ =&P\{S_1\le s_1,\cdots,S_{i-1}\le s_{i-1},S_{i+1}\le s_{i+1},\cdots ,S_n\le s_n\}-\\ &F(x_1,x_2,\cdot,x_n)=0 \end{aligned}$兩邊對$x_1,\cdots,x_n$依次求偏導，則$p(x_1,\cdots,x_n)=0$因此，我們假設$s_1\le s_2\le s_3\cdots\le s_n$，我們求分佈函數$F(s_1,\cdots,s_n)$，以$n=2$爲例，$s_1< s_2$，則$\begin{aligned} F(s_1,s_2)=&P\{S_1\le s_1,S_2\le s_2\}\\ =&P\{S_2\le s_2\}-P\{S_1>s_1,S_2\le s_2\} \end{aligned}$而事件$\{S_1>s_1,S_2\le s_2\}$相當於在$(0,s_1]$段事件發生了0次，$(s_1,s_2]$段事件至少發生了兩次，有$\begin{aligned} P\{S_1>s_1,S_2\le s_2\}=&P\{N(s_1)=0,N(s_2)-N(s_1)\ge 2\}\\ =&P\{N(s_1)=0\}P\{N(s_2-s_1)\ge 2\}\\ =&e^{-\lambda s_1}(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda(s_2-s_1)}\\ =&(\sum_{k=2}^\infty\frac{\lambda^k(s_2-s_1)^k}{k!})e^{-\lambda s_2} \end{aligned}$則密度函數$p(s_1,s_2)=\frac{\partial^2}{\partial s_1\partial s_2}F(s_1,s_2)=\lambda^2e^{-\lambda s_2}$因此$(S_1,S_2)$的密度函數爲$p(s_1,s_2)=\lambda^2e^{-\lambda s_2}I_{s_1<s_2}$，再求$n=3$的情形，設$s_1< s_2< s_3$，那麼$\begin{aligned} F(s_1,s_2,s_3)=&P\{S_1\le s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2,S_3\le s_3\}\\ =&P\{S_2\le s_2,S_3\le s_3\}-P\{S_1>s_1,S_2\le s_2\}+\\ &P\{S_1>s_1,S_2\le s_2,S_3>s_3\} \end{aligned}$從下圖可以看出$\{S_1>s_1,S_2\le s_2,S_3>s_3\}=\{N(s_1)=0,N(s_2)-N(s_1)=2,N(s_3)-N(s_2)=0\}$
故$\begin{aligned} &P\{S_1>s_1,S_2\le s_2,S_3>s_3\}\\ =&P\{N(s_1)=0\}P\{N(s_2)-N(s_1)=2\}P\{N(s_3)-N(s_2)=0\}\\ =&e^{-\lambda s_1}\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda(s_2-s_1)}e^{-\lambda(s_3-s_2)}=\frac{\lambda^2(s_2-s_1)^2}{2}e^{-\lambda s_3} \end{aligned}$同樣地方法可以得到$(S_1,S_2,S_3)$的密度函數爲$p(s_1,s_2,s_3)=\lambda^3e^{-\lambda s_3}I_{s_1<s_2<s_3}$$n=2$及$n=3$情形已經給出求$(S_1,\cdots,S_n)$的一般方法，當$n=2k+1$，$s_1<s_2<\cdots<s_{2k}$時，首先，比較容易求出的是以下概率$\begin{aligned} &G_k(s_1,s_2,\cdots,s_{2k})\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\}\\ =&\prod_{i=1}^nP\{N(s_{2i-1})-N(s_{2i-2})=0\}.\prod_{i=1}^{n-1}P\{N(s_{2i})-N(s_{2i-1})=2\}\\ \times&P\{N(s_{2k})-N(s_{2k-1})\ge 2\}\\ =&\prod_{i=1}^{n-1}\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}} \end{aligned}$其中規定$s_0=0$，先對$s_1,\cdots,s_{2k-2}$依次求偏導$\frac{\partial^{2k-2}}{\partial s_1\partial s_2\cdots\partial s_{2k-2}}G_k=\lambda^{2k-2}(\sum_{j=2}^\infty\frac{\lambda^j(s_{2k}-s_{2k-1})^j}{j!})e^{-\lambda s_{2k}}$這樣對其餘兩個變元求偏導就輕鬆很多，具體過程不再詳述，最終得到$\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k=(-1)^k\lambda^{2k}e^{-\lambda s_{2k}}$現在，我們令$\begin{aligned} G_1(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}\\ G_2(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,S_5\le s_5,\cdots,S_{2k}\le s_{2k}\}\\ \cdots\\ G_i(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,\cdots,S_{2i-1}>s_{2i-1},S_j\le s_j,n\ge j>2i-1\}\\ \cdots\\ G_k(s_1,s_2,\cdots,s_n)=&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k}\} \end{aligned}$於是$F(s_1,s_2,\cdots,s_n)=P\{S_2\le s_2,S_3\le s_3,\cdots,S_{2k}\le s_{2k}\}-G_1(s_1,\cdots,s_n)\\ G_1(s_1,\cdots,s_n)=P\{S_1>s_1,S_2\le s_2,S_4\le s_4,\cdots,S_{2k}\le s_{2k}\}-G_2(s_1,\cdots,s_n)\\ \cdots$這樣看$F$和$G_k$的偏導數的關係應該是$\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}F=(-1)^k\frac{\partial^{2k}}{{\partial s_1\partial s_2\cdots\partial s_{2k}}}G_k$從而得到$(S_1,\cdots,S_{2k})$的聯合密度應該是$p(s_1,\cdots,s_n)=\lambda^{2k}e^{-\lambda s_{2k}}I_{0<s_1<\cdots<s_{2k}}$當$n$爲奇數的時候也進行類似的討論，就得到$(S_1,\cdots,S_n)$的聯合密度爲$p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$
總結：$\{S_n\}$是強度爲$\lambda$的泊松過程$\{N(t)\}$的呼叫流，則
(1)$S_n$服從$\Gamma(n,\lambda)$
(2)$(S_1,\cdots,S_n)$的聯合密度爲$p(s_1,\cdots,s_n)=\lambda^ne^{-\lambda s_n}I_{0<s_1<s_2<\cdots<s_n}$

呼叫流的條件分佈

下面給定$N(t)=n$的條件，$(S_1,\cdots,S_n)$的分佈：
按照條件概率的定義$P(S_1\le s_1,\cdots,S_n \le s_n|N(t)=n)=\frac{P\{S_i\le s_i,i=1,2,\cdots,n,N(t)=n\}}{P\{N(t)=n\}}$同非條件的聯合分佈的討論一樣，如果$(s_1,\cdots,s_n)$不滿足$0<s_1<\cdots<s_n<t$，則對$s_1,\cdots,s_n$依次求偏導等於0，因此我們假設$0<s_1<\cdots<s_n<t$。如果$n=2k$，比較容易求解的一個概率是$P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}$我們把這些時刻畫在時間軸上

這樣，如何求解這個概率值就一目瞭然了，這個事件等價於在$(0,s_1]$段事件發生了0次，在$(s_1,s_2]$段事件發生了2次，$(s_2,s_3]$段事件發生了0次，$(s_3,s_4]$段事件發生了2次，$\cdots$，在$(s_{2k-1},s_{2k}]$段事件發生了兩次，在$(s_{2k},t]$事件發生了0次。因此$\begin{aligned} &G(s_1,\cdots,s_n)\\ =&P\{S_1>s_1,S_2\le s_2,S_3>s_3,S_4\le s_4,\cdots,S_{2k-1}>s_{2k-1},S_{2k}\le s_{2k},N(t)=n\}\\ =&\prod_{i=1}^{k}(\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}e^{-\lambda(s_{2i}-s_{2i-1})}) \prod_{i=1}^ke^{-\lambda(s_{2i-1}-s_{2i-2})}.e^{-\lambda(t-s_{2k})}\\ =&\prod_{i=1}^k[\frac{\lambda^2(s_{2i}-s_{2i-1})^2}{2}]e^{-\lambda t} \end{aligned}$其對$s_1,\cdots,s_{2k}$依次求偏導，得到$\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}G=(-1)^k\lambda^{2k}e^{-\lambda t}$類似於非條件分佈的討論，令$F(s_1,\cdots,s_n)=P\{S_1\le s_1,\cdots,S_n\le s_n,N(t)=n\}$，就有$\frac{\partial^{2k}}{\partial s_1\cdots\partial s_{2k}}F=\lambda^{2k}e^{-\lambda t}$於是，在給定$N(t)=n$條件下，條件密度爲$p(s_1,\cdots,s_n)=\frac{\lambda^{2k}e^{-\lambda t}}{\frac{(\lambda t)^{2k}}{(2k)!}e^{-\lambda t}}=\frac{(2k)!}{t^{2k}}=\frac{n!}{t^n}I_{0<s_1<\cdots<s_n<t}$當$n$爲奇數時討論也類似，得到的條件密度函數也是上式。實際上，這也是來自均勻分佈$U(0,t)$的樣本$U_1,\cdots,U_n$的順序統計量$U_{(1)},\cdots,U_{(n)}$的聯合分佈。也就是說，在給定$N(t)=n$的條件下，這$n$個事件發生的時間點在$(0,t]$內均勻分佈，再進行一個排列就得到$S_1,\cdots,S_n$。

結論：$S_1,S_2,\cdots,S_n|N(t)=n$與$U_{(1)},\cdots,U_{(n)}$同分布，其中$U_{(1)},\cdots,U_{(n)}$是來自均勻分佈$U(0,t)$的樣本的順序統計量。

等待時間的分佈

有了$(S_1,\cdots,S_n)$的聯合分佈，就可以得到等待時間$(X_1,\cdots,X_n)$的聯合分佈，對變換$\begin{cases} S_1=X_1\\ S_2=X_1+X_2\\ S_3=X_1+X_2+X_3\\ \cdots\\ S_n=X_1+X_2+X_3+\cdots+X_n \end{cases}$有$\frac{\partial(S_1,\cdots,S_n)}{\partial(X_1,\cdots,X_n)}=1$則$(X_1,\cdots,X_n)$的密度函數爲$\begin{aligned} &p(x_1,x_2,\cdots,x_n)=|\frac{\partial(S_1,\cdots,S_n)}{\partial(X_1,\cdots,X_n)}|\lambda^ne^{-\lambda\sum_{k=1}^nx_k}\prod_{k=1}^n I_{x_k>0}\\ =&\lambda^ne^{-\lambda\sum_{k=1}^nx_k}\prod_{k=1}^n I_{x_k>0} \end{aligned}$故$X_1,\cdots,X_n$相互獨立，都服從參數爲$\lambda$的指數分佈，反過來，如果給定相互獨立且服從參數爲$\lambda$的指數分佈的隨機變量序列$X_1,\cdots,X_n,\cdots$，令$\displaystyle T_n=\sum_{k=1}^nX_k,n=1,2,\cdots$，顯然$\{T_n,n=1,2,\cdots\}$和$\{S_n,n=1,2,\cdots\}$同分布。所謂同分布即任取有限個正整數$t_1<\cdots<t_k$，隨機向量$(T_{t_1},T_{t_2},\cdots,T_{t_k})$和$(S_{t_1},S_{t_2},\cdots,S_{t_k})$同分布，定義計數過程$N^\prime(t)=\sum_{n=1}^\infty I\{T_{n}\le t\}$則$\{N^\prime(t)\}$是強度爲$\lambda$的泊松過程

年齡和壽命的分佈

年齡：記爲$A(t)$，定義爲$A(t)=t-S_{N(t)}$
壽命：記爲$R(t)$，定義爲$R(t)=S_{N(t)+1}-t$

我們先來求壽命的分佈：$\{R(t)\le s\}$等價於在$[t,t+s]$這段時間內至少發生了一次時間，因此$P\{R(t)\le s\}=P\{N(t+s)-N(t)\ge 1\}=\sum_{n=1}^\infty \frac{(\lambda s)^n}{n!}e^{-\lambda s}$兩邊求導，得到密度函數爲$p_{R}(s)$爲$p_R(s)=\lambda \sum_{n=0}^\infty\frac{(\lambda s)^{n-1}}{(n-1)!}e^{-\lambda s}-\lambda \sum_{n=1}^\infty \frac{(\lambda s)^n}{n!}e^{-\lambda s}=\lambda e^{-\lambda s}$於是$R(t)$服從參數爲$\lambda$的指數分佈

再來求年齡的分佈：此時年齡有一個最大值$t$，因此，年齡的分佈應當是$P\{A(t)\le s\}=\begin{cases} 0&s\le 0\\ 1-e^{-\lambda s}&0<s< t\\ 1&s\ge t \end{cases}$$A(t)$分佈函數在$s=t$處有一個跳躍

並且$A(t)$和$R(t)$是相互獨立的，只要考察$P\{A(t)\le u,R(t)\le v\}$如果$u\ge t$，那麼$\{A(t)\le u\}=\Omega$因此$\{A(t)\le u,R(t)\le v\}=P\{R(t)\le v\}$故$P\{A(t)\le u,R(t)\le v\}=P\{A(t)\le u\}P\{R(t)\le v\}$如果$0<u<t,v>0$，則$\{A(t)\le u,R(t)\le v\}=\{N(t-u,t]\ge 1,N(t,t+v]\ge 1\}$因此$P\{A(t)\le u,R(t)\le v\}=P\{N(t-u,t]\ge 1\}P\{(t,t+v]\ge 1\}$由此可以驗證$P\{A(t)\le u,R(t)\le v\}=P\{A(t)\le u\}P\{R(t)\le v\}$其他情況等式左右兩邊都爲0，故等式也成立，這就說明了$A(t)$和$R(t)$是相互獨立的。假設$N(t)$表示某零件的更換次數，$R(t)$表示現在正在工作的零件的剩餘壽命，$A(t)$表示現在正在工作的零件的，那麼$X(t)=R(t)+A(t)$表示當前工作零件的使用壽命。顯然$X(t)$的期望滿足$EX(t)=ER(t)+EA(t)>EA(t)=\frac{1}{\lambda}$而$EX_n=\frac{1}{\lambda}$也就是說，當前正在工作的零件的平均使用壽命比所有零件的平均使用壽命要長。可以理解爲：平均使用壽命長的零件在$t$時刻被我們碰到的概率比其他零件要高。

總結：
(1)$R(t)$服從參數爲$\lambda$的指數分佈
(2)$A(t)$的分佈函數爲$P\{A(t)\le s\}=\begin{cases} 0&s\le 0\\ 1-e^{-\lambda s}&0<s< t\\ 1&s\ge t \end{cases}$(3)$R(t)$和$A(t)$相互獨立

泊松過程的匯合與分流

泊松過程的匯合

在某個公交車站，乘坐$A$線路的乘客以強度爲$\lambda_1$的泊松過程$\{N_1(t)\}$到達，乘坐$B$線路的乘客以強度爲$\lambda_2$的泊松過程$\{N_2(t)\}$到達，並且兩個乘客流是獨立的，令$N(t)=N_1(t)+N_2(t)$，我們下面證明$N(t)$也是一個泊松過程：
(1)首先，$N(0)=N_1(0)+N_2(0)=0$
(2)其次，我們要驗證$\{N(t)\}$具有獨立增量性：
對任意的$0<t_1<t_2<\cdots<t_n$，對$i=1,2,\cdots,n$，令$Z_i=N(t_{i})-N(t_{i-1})=N_1(t_{i})+N_2(t_i)-N_1(t_{i-1})-N_2(t_{i-1})$，再令$X_i=N_1(t_{i})-N_1(t_{i-1}),Y_i=N_2(t_i)-N_2(t_{i-1})$，由於$(X_1,X_2,\cdots,X_n)$和$(Y_1,Y_2,\cdots,Y_n)$是相互獨立的，$(X_1,\cdots,X_n)$是相互獨立的，$(Y_1,\cdots,Y_n)$的相互獨立的，可以推得$(X_1,X_2,\cdots,X_n,Y_1,Y_2,\cdots,Y_n)$是相互獨立的，而$X_i$和$Y_i$也是相互獨立的，從而$(X_1,Y_1),(X_2,Y_2),\cdots,(X_n,Y_n)$是相互獨立的，從而$Z_1,Z_2,\cdots,Z_n$是相互獨立的。這就證得$\{N(t)\}$的獨立增量性。
(3)其次，對任意的$t>0,s> 0$，$N_1(t+s)-N_1(t)$服從參數爲$\lambda_1s$的泊松分佈，$N_2(s+t)-N_2(t)$服從參數爲$\lambda_2s$的泊松分佈，且兩者相互獨立，因此，由泊松分佈的可加性，$N(s+t)-N(t)$服從參數爲$(\lambda_1+\lambda_2)s$的泊松分佈

結論：$\{N_1(t)\}$服從強度爲$\lambda$的泊松過程，$\{N_2(t)\}$服從強度爲$\mu$的泊松過程，兩個泊松過程獨立，$N(t)=N_1(t)+N_2(t)$，$\{N(t)\}$服從強度爲$\lambda+\mu$的泊松過程

泊松過程的分流

假設乘客以強度$\lambda$的泊松流到達一個車站，一個乘客到達後，以概率$p$乘坐A線，概率$1-p$乘坐B線，不同乘客選擇乘坐線路的決定是相互獨立的，在$(0,t]$時間內乘坐A線的乘客數記爲$N_1(t)$，B線的乘客記爲$N_2(t)$，如何求解$N_1(t)$和$N_2(t)$的分佈呢？

直觀分析：在$[0,t]$時間段內，平均有$\lambda t$個乘客到達車站，那麼，從平均意義上講，平均有$p\lambda t$個乘客乘坐A線，平均有$(1-p)\lambda t$個乘客乘坐B線，如果兩個過程都是泊松過程，相當於將強度按$p:1-p$進行了分流，分成了兩個泊松過程，因而稱爲泊松過程的分流。

數學表述：如何在數學上表述$N_1(t)$和$N_2(t)$，首先，$\{N(t)\}$是一個強度爲$\lambda$的泊松過程，對於乘客$i$，$Y_i$爲其是否選擇乘坐$A$線，如果其選擇乘坐A線，$Y_i=1$，否則等於0，並且由於不同乘客之間的線路選擇是獨立的，故$Y_1,Y_2,\cdots,Y_n,\cdots$獨立同分布，都服從兩點分佈$B(1,p)$，並且我們還要求$\{Y_n\}$與$\{N(t)\}$獨立，那麼，就應該有$N_1(t)=\sum_{i=0}^{N(t)}Y_i\\ N_2(t)=\sum_{i=0}^{N(t)}(1-Y_i)$這裏設$Y_0=0$

驗證兩者都是泊松過程：
(1)首先，由於$N(0)=0$，故$N_1(0)=0$
(2)其次，對$t\ge 0$，$s>0$，我們來求$N_1(t+s)-N_1(t)$的分佈，按照定義$N_1(t+s)-N_1(t)=\begin{cases} \sum_{j=N(t)+1}^{N(t+s)}Y_j&N(t+s)>N(t)\\ 0&N(t+s)=N(t) \end{cases}$對假設$k=0$，在$N(t)=n,N(t+s)=m,m> n$的條件下，由獨立性可得$\begin{aligned} &P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{n+1}^{m}Y_j=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{n+1}^{m}Y_j=k\} =(1-p)^{m-n} \end{aligned}$即這個條件概率只與$m-n$有關，同理，$m=n$時$P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}=1$則$\begin{aligned} &P\{N_1(t+s)-N_1(t)=0\}\\ =&\sum_{n=0}^\infty\sum_{m=n}^\infty P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}P\{N(t)=n,N(t+s)=m\}\\ =&\sum_{n=0}^\infty\sum_{m=n}^\infty (1-p)^{m-n}P\{N(t)=n,N(t+s)=m\}\\ =&\sum_{n=0}^\infty\sum_{k=0}^\infty (1-p)^k P\{N(t)=n,N(t+s)=n+k\}\\ =&\sum_{k=0}^\infty(1-p)^k\sum_{n=0}^\infty P\{N(t)=n,N(t+s)-N(t)=k\}\\ =&\sum_{k=0}^\infty(1-p)^k P\{N(t+s)-N(t)=k\}\\ =&\sum_{k=0}^\infty(1-p)^k \frac{(\lambda s)^k}{k!} e^{-\lambda s}=e^{-p\lambda s} \end{aligned}$類似地可以證明$k=1,2,\cdots$，有$P\{N_1(t+s)-N_1(t)=k\}=\frac{(p\lambda s)^k}{k!}e^{-p\lambda s}$(3)只需要驗證獨立增量性即可證得$\{N_1(t)\}$是泊松過程：
對$m> n$，對$t\ge 0,s>0$，條件概率$\begin{aligned} &P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{j=n+1}^m Y_j=k|N(t)=n,N(t+s)=m\}\\ =&P\{\sum_{j=n+1}^m Y_j=k\}=P\{\sum_{j=1}^{m-n}Y_j=k\} \end{aligned}$對$m\ge n$，$P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}$也只與$m-n$和$k$有關，於是，我們定義$g(m-n,k)=P\{N_1(t+s)-N_1(t)=k|N(t)=n,N(t+s)=m\}$故$P\{N_1(t+s)-N_1(t)=k|N(t),N(t+s)\}=g(N(t+s)-N(t),k) \quad a.s.$對$0\le t_1\le t_2 \le \cdots t_m$，對任意的非負整數$n_1,n_2,\cdots,n_m$，以及任意的非負整數$0=k_0\le k_1 \le k_2\le \cdots \le k_m$，有$\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m|\\ &N(t_1)=k_1,N(t_2)=k_2,\cdots,N(t_m)=k_m\}\\ =&P\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i,i=1,2,\cdots,m|N(t_1)=k_1,N(t_2)=k_2,\cdots,N(t_m)=k_m\}\\ =&P\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i,i=1,2,\cdots,m\}\\ =&\prod_{i=1}^mP\{\sum_{j= k_{i-1}+1}^{k_i}Y_j=n_i\}\\ =&\prod_{i=1}^mg(k_i-k_{i-1},n_i) \end{aligned}$故$\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m| N(t_1),N(t_2),\cdots,N(t_m)\}\\ =&\prod_{i=1}^mg(N(t_i)-N(t_{i-1}),n_i) \end{aligned}$取期望，即可得$\begin{aligned} &P\{N_1(t_1)=n_1,N_1(t_2)-N_1(t_1)=n_2,\cdots,N_{1}(t_m)-N_1(t_{m-1})=n_m\}\\ =&\prod_{i=1}^m Eg(N(t_i)-N(t_{i-1}),n_i)\\ =&\prod_{i=1}^m P\{N_1(t_{i})-N_1(t_{i-1})=n_i\} \end{aligned}$故獨立增量性成立，從而$\{N_1(t)\}$是強度爲$p\lambda$的泊松過程，由於$\{1-Y_n\}$也與$\{N(t)\}$獨立，且獨立同分布，均服從$B(1,1-p)$，故同理也可以得到$\{N_2(t)\}$是強度爲$(1-p)\lambda$的泊松過程。

驗證$\{N_1(t)\}$和$\{N_2(t)\}$是兩個獨立的泊松過程：
對任意的$0=t_0\le t_1< t_2<\cdots <t_m$，任取$m$個非負整數$n_1\le n_2\cdots\le n_m$及$m$個非負整數$k_1\le k_2\le\cdots\le k_m$，規定$n_0=k_0=0$，下面我們證明：$\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)=n_i,i=1,2,\cdots,m\}P\{N_2(t_i)=k_i,i=1,2,\cdots,m\} \end{aligned}$實際上$\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1},N(t_i)-N(t_{i-1})=n_i+k_i-n_{i-1}-k_{i-1},i=1,2\cdots,m\} \end{aligned}$令$N_i=n_i+k_i-n_{i-1}-k_{i-1},i=1,2,\cdots,m$，應該有$N_i\ge n_{i}-n_{i-1},i=1,2,\cdots,m$，則$\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1},N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m,N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m\}P\{N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\} \end{aligned}$其中第三個等號利用的是$\{Y_n\}$與$\{N(t)\}$的獨立性，並且對$i=1,2,\cdots,m$，規定當$N_i=N_{i-1}$時，此時當然有$n_i-n_{i-1}=0$，$\displaystyle\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=0$，那麼，$\displaystyle P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1}\}=1=C_{N_i}^{n_i-n_{i-1}}p^{n_i-n_{i-1}}(1-p)^{k_i-k_{i-1}}$，這裏規定$C_0^0=1=\frac{0!}{0!0!}$。因此$\begin{aligned} &P\{N_1(t_i)=n_i,N_2(t_i)=k_i,i=1,2,\cdots,m\}\\ =&P\{\sum_{j=N_{i-1}+1}^{N_{i}}Y_j=n_i-n_{i-1},i=1,2,\cdots,m\}P\{N(t_i)-N(t_{i-1})=N_i,i=1,2\cdots,m\} \\=&\prod_{i=1}^m\frac{N_i!}{(n_i-n_{i-1})!(k_i-k_{i-1})!}p^{n_i-n_{i-1}}(1-p)^{k_i-k_{i-1}}.\\ &\prod_{i=1}^m\frac{[\lambda(t_i-t_{i-1})^{N_i}]}{N_i!}e^{-\lambda(t_i-t_{i-1})}\\ =&\prod_{i=1}^m P\{N_1(t_i)-N_1(t_{i-1})=n_i-n_{i-1}\}P\{N_2(t_i)-N_2(t_{i-1})=k_i-k_{i-1}\} \end{aligned}$這就證得了$(N_1(t_1),N_1(t_2),\cdots,N_1(t_m))$和$(N_2(t_1),N_2(t_2),\cdots,N_2(t_m))$是相互獨立的，不難證明，這等價於兩個泊松過程是相互獨立的。

泊松過程的統計推斷

以事件數估計強度

以到達時刻估計事件數

泊松過程的推廣

複合泊松過程

非時齊泊松過程