第二章 随机过程的概念与数字特征

1、随机过程

通俗的理解：随机变量是单个变量X是个随机值，比如扔硬币，正面还是反面是个随机值，它的数字特征有均值、方差。而过程则增加一个因素T，通常是时间，如时刻t抛一次硬币，在s时刻抛一次硬币，则可以研究两个时刻抛硬币的均值、方差及相关性。

从图上看，单个随机变量用一个二维平面表示，单个变量的随机过程需要三维平面表示。在每个时间t，它就是一个随机变量。

随机过程的均值函数：$m_X(t)$，此记法表示，随机变量X，在t对应的均值，因为t是个变量，所以不同t会对应不同的均值，所以称之为函数；m是mean的缩写。所以$m_X(t)=E[X(t)]$，对应于上图：在t时刻切片下的变量的图形均值。

随机过程的方差函数：$D_X(t)$，如均值函数一样，是随机变量X，在t对应的方差，因为t是个变量，所以不同t会对应不同的方差，所以称之为方差函数；$D_X(t)=E[(X(t)-EX(t))^2]$，计算方法和随机变量的方差一样。

随机过程的协方差函数：$B_X(s,t)$，研究随机变量X，在s时间切片下$X(s)$和在t时间切片下$X(t)$的相互关系。如果把$X(s)$看为变量$Y$，$X(t)$看为变量$Z$，也就是相当于$Cov(Y,Z)$，所以$B_X(s,t)=E[\{X(s)-m_X(s)\}\{X(t)-m_X(t)\}]=E[X(s)X(t)]-m_X(s)m_X(t)$。像协方差公式展开后，把$E(YZ)$叫着相关矩，这里则是相关函数：$R_{X}\left(s,t)=E[X(s\right)X(t)]$。

上面研究是X本身在不同时刻的相关性，也称为自协方差函数、自相关函数，对应如果是X在t时间，Y在s时间的相互关系：

互协方差函数：$B_{XY}(s,t)=E[\{X(s)-m_X(s)\}\{Y(t)-m_Y(t)\}]$

互相关函数：$R_{XY}\left(s,t)=E[X(s\right)Y(t)]$

两函数和$W(t)=X(t)+Y(t)$的相关性：

他们的均值函数为$m_W(t)=E[X(t)+Y(t)]=m_X(t)+m_Y(t)$

相关函数：$$\begin{align*} & R_{W}(t,s)=E[(X(t)+Y(t))(X(s)+Y(s)]\\ & =E[X(t)X(s)+X(t)Y(s)+Y(t)X(s)+Y(t)Y(s)]\\ & =R_{X}(t,s)+R_{XY}(t,s)+R_{YX}(t,s)+R_{Y}(t,s)\end{align*}$$当X、Y不相关，则$R_{W}(t,s)=R_{X}(t,s)+R_{Y}(t,s)$

2、复随机过程：

$\left\lbrace X_t,t\in T \right\rbrace \{Y_t,t\in T\}$是取实值的两个随机过程，则$Z_t=X_t+iY_t$为复随机过程。

均值函数：$m_Z(t)=EX_t+iEY_t$

方差函数：如按实变量公式：$D_{Z}(t)=E\left\lbrack\left(Z_{t}-EZ_{t}\right)\right)^2]=E\{[(X_{t}+iY_{t})-E(X_{t}+iY_{t})]^2\}$，展开：$=E\{(X_t-EX_t)^2+2i(X_t-EX_t)(Y_t-EY_t)-(Y_t-EY_t)^2 \}$，可以看出里面公式有可能为负数，与方差的定义不符。在此可以知道，复数不能直接展开。因为方差表示变量的振幅，对于复数，则用模表示距离：$D_Z(t)=E\{|(X_t+iY_t)-E(X_t+iY_t)|^2\}$，（此方式也是实变量的计算方法，只是实函数并不受影响而已，所以省了模的符号）。$$\begin{align*} &D_Z(t)=E\{[(X_t+iY_t)-E(X_t+iY_t)] \overline{[(X_t+iY_t)-E(X_t+iY_t)]}\} \\ &=E\{[(X_t-EX_t)+i(Y_t-EY_t)] \overline{[(X_t-EX_t)+i(Y_t-EY_t)] }\} \\ &=E\{[(X_t-EX_t)+i(Y_t-EY_t)] [(X_t-EX_t)-i(Y_t-EY_t) ]\} \\ &=E\{(X_t-EX_t)^2+(Y_t-EY_t)^2 \} \end{align*}$$

协方差函数：$B_Z(s,t)=E\{[Z_s-E(Z_s)]\overline{[Z_t-E(Z_t)]}\}$，此方式保证当$s=t$时，即是复变量的方差。但可能还是会想，不同时刻，另一个为什么是取它的共轭？

首先复数可看成二维空间，由X（实部）、Y（虚部）轴共同确定。把复数转成$Z_s=|Z_s|e^{i\theta_s}$形式，，可看出相互关系不再仅仅是比大小，而是比方向（相位）的关系和模长的关系。如果$B_Z(s,t)=E\{|Z_s|e^{i\theta_s}*|Z_t|e^{i\theta_t}\}=E[|Z_s||Z_t|e^{{i\theta_s}+i\theta_t}]$（假设均值都为0）。此式中模的积能表达模关系，但相位是绝对关系，如果都增加一个常数，协方差也会跟着改变；和协方差要减去均值去抵消绝对数值关系的初衷有点出入，而且在平稳的研究过程中，仅与$\tau=t-s$有关。而如果是$i(\theta_s-\theta_t)$则其相对性，就具有很好的研究性质。因此$|Z_{s}|e^{-i\theta_{s}}=\overline{Z_s}$（欧拉公式$e^{-i\theta_{s}}=cos(-\theta)+isin(-\theta)=cos(\theta)-isin(\theta)$）。

相关函数：$R_Z(s,t)=E(Z_s \bar{Z}_t)$。协方差函数展开：$B_Z(s,t)=E[Z_s\bar{Z}_t]-E[Z_s]E[\bar{Z}_t]$，前一项即是相关函数。

同理上面的可称为自协方差函数和自相关函数，那对于$B_{XY}(s,t)=E\{[X_s-E(X_s)]\overline{[Y_t-E(Y_t)]}\}$，$R_{XY}(s,t)=E[X_s\bar{Y}_t]$称为互协方差函数和互相关函数

3、计算正态随机过程的数字特征

例：正态随机过程$X(t)=Y+Zt,( t>0)$，其中Y,Z是相互独立的$N(0,1)$随机变量，则X的一维概率密度：

$EX(t)=E[Y+Zt]=EY+EZt=0$

$E[(X(t)-\mu_X(t))^2]=E[(Y+Zt)^2]=EY^2+E(2YZt)+E(Z^2t)=1+t^2$

所以：

一维的概率密度：$f_{X(t)}(x)=\frac{1}{\sqrt{2\pi(1+t^2)}}e^{-\frac{x^2}{2(1+t^2)}}$

对于此例是正态随机过程，如果非正态，则需要通过分布来推导：$P(X(t)\le x)=\int_{-\infty}^{\infty}P(Y=y)P(Z\le \frac{x-y}{t}|Y=y)dy$

由Y,Z相互独立：$f_{X(t)}(x)=\int_{-\infty}^{\infty}f_Y(y)\int_{-\infty}^{\frac{x-y}{t}}f_z(z)dzdy$，对X求导$f_{X(t)}(x)=\int_{-\infty}^{\infty}f_Y(y)f_z(\frac{x-y}{t})\frac{1}{t}dy$

此例代入Y，Z的概率密度计算：$f_{X(t)}(x)=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-y)^2}{2t^2}}\frac{1}{t}dy$，通过合并e的系数，然后对y进行配方$f_{X(t)}(x)=\frac{1}{{2\pi t}}\int_{-\infty}^{\infty}exp[{-\frac{1+t^2}{2t^2}(y-\frac{x}{1+t^2})^2-\frac{x^2}{2(1+t^2)}}]dy$，再利用$\int_{-\infty}^{\infty}e^{-\frac{y^2}{2}}dy=\sqrt{2\pi}$去掉积分后，即可得$f_{X(t)}(x)=\frac{1}{\sqrt{2\pi(1+t^2)}}e^{-\frac{x^2}{2(1+t^2)}}$

二维的概率密度：

先求出协方差$B_X(s,t)==E[\{X(s)-m_X(s)\}\{X(t)-m_X(t)\}]=E[(Y+Zs)(Y+Zt)]=1+st$

代入多维正态概率密度公式去求出：$f_{X(s,t)}(x_s, x_t)$