单变量随机扩散过程的参数估计——Hermite序列近似估计转移密度

随机扩散过程参数估计——Hermite序列近似估计转移密度

这篇博文基于作者个人最近阅读Yacine（2002）年的一篇很经典的论文的理解。这篇文章比较牛逼之处在于可以通过Hermite序列近似估计出转移概率密度（regardless the underlying distribution），从而得到一个外生得似然函数。并且可以扩展到多维的随机过程。

(未完待续 …)

虽然Yacine公开了程序，但是作者最近求知欲爆棚（比较无聊），所以记下自己的理解和自己猜测的一些推导细节。当然，刚开始学习，理解还浮于表面，如果有不到位的地方，希望路过的大牛能够指出。

对于一个一般的扩散过程：
$d \boldsymbol{X}_{t}=\mu\left(\boldsymbol{X}_{t} ; \boldsymbol{\theta}\right) d t+\sigma\left(\boldsymbol{X}_{t} ; \boldsymbol{\theta}\right) d \boldsymbol{W}_{t}\tag{1}$
比如说CIR过程：
$d x_{t}=\alpha\left(\mu-x_{t}\right) d t+\sigma \sqrt{x_{t}} d W_{t}\tag{1*}$
从作者的上一篇博文可知，CIR过程服从非中心卡方分布，转移概率计算相当复杂。但是通过一系列的变换，Yacine让以上的过程更加近似于正态分布，从而可以用Hermite序列来近似估计正态分布函数。这个变换就是一个从X到Z的过程。得到Z过程的近似转移概率后，我们可以倒推到X过程，从而推出外生的似然函数，最终目标如下：
$\ell_{n}(\theta) \equiv \sum_{i=1}^{n} \ln \left\{p_{X}\left(\Delta, X_{i \Delta} | X_{(i-1) \Delta} ; \theta\right)\right\}\tag{**}$
通过似然函数的最优化，即可以对未知参数进行估计。具体的变化过程如下：

第一步， 标准化，去除方差的影响。 $(X\rightarrow Y)$
$Y \equiv \gamma(X ; \theta)=\int^{x} d u / \sigma(u ; \theta)\tag{2}$
带入Ito公式
$\begin{aligned} &d Y_{s}=\mu_{Y}\left(Y_{t} ; \theta\right) d t+d W_{t}, \quad \text { where }\\ &\mu_{Y}(y ; \theta)=\frac{\mu\left(\gamma^{-1}(y ; \theta) ; \theta\right)}{\sigma\left(\gamma^{-1}(y ; \theta) ; \theta\right)}-\frac{1}{2} \frac{\partial \sigma}{\partial x}\left(\gamma^{-1}(y ; \theta) ; \theta\right) \end{aligned}$
第二步， 中心化，去除尖峰影响。$(Y\rightarrow Z)$
$Z \equiv \Delta^{-1 / 2}\left(Y-y_{0}\right)\tag{3}$
第三步，利用Hermite序列近似逼近Z的转移概率密度：
$p_{Z}^{(J)}\left(\Delta, z | y_{0} ; \theta\right) \equiv \phi(z) \sum_{j=0}^{J} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) H_{j}(z)\tag{4}$
其中$\phi(z) \equiv e^{-z^{2} / 2} / \sqrt{2 \pi}$, 是标准的正态分布密度函数。而
$H_{j}(z) \equiv e^{z^{2} / 2} \frac{d^{j}}{d z^{j}}\left[e^{-z^{2} / 2}\right], \quad j \geq 0\tag{5}$
是标准的Hermite序列。系数项可以如下的积分过程得到
$\eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) \equiv(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) p_{Z}\left(\Delta, z | y_{0} ; \theta\right) d z\tag{6}$
这里我想可以近似于傅里叶逼近来理解，毕竟Hermite序列也是正交序列。所以证明方法应该和傅里叶序列函数逼近差不多，因而我目前还不是特别好奇。

第四步，已知Z的状态转移密度，求Y的状态转移密度：$(Z\rightarrow Y)$

根据（3）和（4）：
$p_{Y}^{(J)}\left(\Delta, y | y_{0} ; \theta\right) \equiv \Delta^{-1 / 2} p_{Z}^{(J)}\left(\Delta, \Delta^{-1 / 2}\left(y-y_{0}\right) | y_{0} ; \theta\right)\tag{7}$
第五步，已知Y的转移密度，得到X的转移密度：$(Z\rightarrow Y)$
$p_{X}^{(J)}\left(\Delta, x | x_{0} ; \theta\right) \equiv \sigma(x ; \theta)^{-1} p_{Y}^{(J)}\left(\Delta, \gamma(x, \theta) | \gamma\left(x_{0} ; \theta\right) ; \theta\right)\tag{8}$
第六步，最大化似然函数（**）。

以上即为Yacine似然估计的整个流程，而这里最重要也最复杂的就是第三步，如何通过序列逼近$p_{Z}^{(J)}\left(\Delta, z | y_{0} ; \theta\right)$

通过较为简单的变量替换，我们有如下的结果
$\begin{aligned} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) p_{Z}\left(\Delta, z | y_{0} ; \theta\right) d z \\ &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) \Delta^{1 / 2} p_{Y}\left(\Delta, \Delta^{1 / 2} z+y_{0} | y_{0} ; \theta\right) d z \\ &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}\left(\Delta^{-1 / 2}\left(y-y_{0}\right)\right) p_{Y}\left(\Delta, y | y_{0} ; \theta\right) d y \\ &=(1 / j !) E\left[H_{j}\left(\Delta^{-1 / 2}\left(Y_{t+\Delta}-y_{0}\right)\right) | Y_{t}=y_{0} ; \theta\right] \end{aligned}$
这里，第二行的推导参照（7），可以反解出：
$p_{Z}\left(\Delta, z | y_{0} ; \theta\right)=\Delta^{1 / 2} p_{Y}\left(\Delta, \Delta^{1 / 2} z+y_{0} | y_{0} ; \theta\right)\tag{9}$
第三行带入（3）即可。最后一行是期望的定义。然后最后一行的期望项用Tarlor公式展开:
$E\left[f\left(Y_{t+\Delta}, y_{0}\right) | Y_{t}=y_{0}\right]= \sum_{k=0}^{K} A^{k}(\theta) \cdot f\left(y_{0}, y_{0}\right) \frac{\Delta^{k}}{k !} \\ +E\left[A^{K+1}(\theta) \cdot f\left(Y_{t+\delta}, y_{0}\right) | Y_{t}=y_{0}\right] \frac{\Delta^{K+1}}{(K+1) !}\tag{10}$
这里 $f\left(y, y_{0}\right)=H_{j}\left(\Delta^{-1 / 2}\left(Y_{t+\Delta}-y_{0}\right)\right)$. 通过定义 （5），我们展开前七项的Hermite序列

$H_0(z)$	1
$H_1(z)$	-x
$H_2(z)$	$x^2-1$
$H_3(z)$	$-x^3+3x$
$H_4(z)$	$x^4-6x^2+3$
$H_5(z)$	$-x^5+10x^3-15x$
$H_6(z)$	$x^6-15x^4+45x^2-15$

而算子$A = \mu_y\frac{\partial}{\partial y} +\frac{1}{2}\frac{\partial^2}{\partial y^2}$。这里$\eta_{Z}^{(k,j)}\left(\Delta, y_{0} ; \theta\right)$有两个上标， k表示泰勒展开的阶数，j代表Hermite序列的阶数。Yacine在文章中给出了前七项的表达式，如图

还有第一项$\eta^{(0,3)}_Z=1$;
$\eta_{Z}^{(1,3)}=-\mu_{Y} \Delta^{1 / 2}-\left(2 \mu_{Y} \mu_{Y}^{[1]}+\mu_{Y}^{[2]}\right) \Delta^{3 / 2} / 4 \\ -\left(4 \mu_{Y} \mu_{Y}^{[1] 2}+4 \mu_{Y}^{2} \mu_{Y}^{[2]}+6 \mu_{Y}^{[1]} \mu_{Y}^{[2]}+4 \mu_{Y} \mu_{Y}^{[3]}+\mu_{Y}^{[4]}\right) \Delta^{5 / 2} / 24\tag{a}$
这里给出第二项的证明，其他项亦然：

泰勒展开(10), $K=3$：
$A^{0}f(y_0,y_0)+A^1f(y_{0},y_{0})\Delta + A^{2}f\left( y_0,y_0 \right) \frac{\Delta^{2}} {2!} + A^{3}f\left( y_0,y_0 \right) \frac{\Delta^{3}}{3!} + E[A^{3}f\left( y_{t+\delta},y_0 \right)]\frac{\Delta^{4}}{4!}\tag{a.1}$
每一项计算如下：
$A^{0}f\left( y,y_0\right) =H\left(\Delta ^{-\frac {1} {2}}\left( y-y_{0}\right) \right)|_{y=y_0}=\Delta ^{-\frac {1}{2}}\left( y-y_{0}\right)|_{y=y_0}= 0$

$A^{1}f\left( y,y_0\right) = \mu\Delta ^{-\frac {1} {2}}$

$A^2f\left( y,y_0\right) = A(\mu\Delta^{-\frac{1}{2}})=\left(\mu\frac{\partial}{\partial y}(\mu) +\frac{1}{2}\frac{\partial^2}{\partial y^2}(\mu)\right)\Delta^{-\frac{1}{2}} = (\mu\mu^{(1)}+\mu^{(2)})\Delta^{-\frac{1}{2}}$

$A^3f\left( y,y_0\right) = A((\mu\mu^{(1)}+\mu^{(2)})\Delta^{-\frac{1}{2}}) = \left(\mu\frac{\partial}{\partial y}(\mu\mu^{(1)}+\mu^{(2)}) +\frac{1}{2}\frac{\partial^2}{\partial y^2}(\mu\mu^{(1)}+\mu^{(2)})\right)\Delta^{-\frac{1}{2}} \\=\frac{1}{2}\Delta^{-\frac{1}{2}}\left(4 \mu_{Y} \mu_{Y}^{[1] 2}+4 \mu_{Y}^{2} \mu_{Y}^{[2]}+6 \mu_{Y}^{[1]} \mu_{Y}^{[2]}+4 \mu_{Y} \mu_{Y}^{[3]}+\mu_{Y}^{[4]}\right)$

带入以上的泰勒展开(a.1)即可得(a).

下面就来到了我头疼了两天的部分，（3）和（4）代入（7），我们会得到
$p_{Y}^{(J)}\left(\Delta, y | y_{0} ; \theta\right) \equiv \Delta^{-1 / 2} \phi(\Delta^{-1 / 2}\left(y-y_{0}\right)) \sum_{j=0}^{J} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) H_{j}(\Delta^{-1 / 2}\left(y-y_{0}\right))\tag{11}$
把$\eta_{Z}^{(k,j)}\left(\Delta, y_{0} ; \theta\right)$和$H_j$代入到（11），并且取出$\Delta ^{k}$的所有系数项。便可推导出这篇文章最最最重要的一个结论：
$\tilde{p}_{Y}^{(K)}\left(\Delta, y | y_{0} ; \theta\right)=\Delta^{-1 / 2} \phi\left(\frac{y-y_{0}}{\Delta^{1 / 2}}\right) \exp \left(\int_{y_{0}}^{y} \mu_{Y}(w ; \theta) d w\right) \sum_{k=0}^{K} c_{k}\left(y | y_{0} ; \theta\right) \frac{\Delta^{k}}{k !}\tag{12*}$
其中$c_{0}\left(y | y_{0} ; \theta\right)=0$. 其他的项可以通过迭代算出
$c_{j}\left(y | y_{0} ; \theta\right)= j\left(y-y_{0}\right)^{-j} \int_{y_{0}}^{y}\left(w-y_{0}\right)^{j-1} \\ \times\left\{\lambda_{Y}(w ; \theta) c_{j-1}\left(w | y_{0} ; \theta\right)+\left(\partial^{2} c_{j-1}\left(w | y_{0} ; \theta\right) / \partial w^{2}\right) / 2\right\} d w\tag{12.1*}$
其实，我深知直接用（12*）和（12.1*）就可以解决我大部分的问题，但是小编个人天生爱研究（找虐），居然脑补了两天这个是怎么凑出来的，也算是小有所获，但是今天比较晚了（妈妈叫我去喝牛奶），就先写到这里，明天晚上再继续补充这部分的笔记。
实，我深知直接用（12*）和（12.1*）就可以解决我大部分的问题，但是小编个人天生爱研究（找虐），居然脑补了两天这个是怎么凑出来的，也算是小有所获，但是今天比较晚了（妈妈叫我去喝牛奶），就先写到这里，明天晚上再继续补充这部分的笔记。
参考文献：
Maximum-Likelihood Estimation of Discretely-Sampled Diffusions: A Closed-Form Approximation Approach, Econometrica,2002, 70, 223-262 (this paper received the 1998 Cornerstone Research
Award)
链接：https://www.princeton.edu/~yacine/mle.pdf

结束语：本系列的文章是Yacine大神论文研究的读后感，不得不表达一下自己的崇拜之情，Yacine开源了自己所有的文章和程序，让大家使用和学习。超前的研究，超前的思想，虽然大神的境界不可企及，但是可以膜拜。哈哈，最重要的一点对自己说，从明天开始务正业，务正业！！！