随机过程 第一章 预备知识（2）

5、特征函数

特征函数是为了更方便研究随机变量的数字特征，而引入的数学工具--傅里叶变换

$F(ω)=∫_{−∞}^{+∞} f(t)e ^{−iωt}dt$

通过对傅里叶公式进行求导，积分后是关于变量ω的函数：$F^{\prime}(ω)=-i∫_{−∞}^{+∞} e ^{−iωt} t f(t)dt$，当ω=0时，积分就对应了期望的公式，因此如果能求出$F^{\prime}(ω)$的值，那通过$EX = iF^{\prime}(0)$就能得到期望值，或者计算后的表达式$i$可提取出来，那剩余的项就是EX。因为是引入的工具，为了简单，我们直接去掉复数i，则给它取个名字为矩母函数。同理方差就是二阶导：$F^{\prime\prime}(\omega)=(-i)^2∫_{-\infty}^{+\infty}e^{-i\omega t}t^2f(t)dt \Rightarrow DX=i^2 F^{\prime\prime}(\omega)$。

因为傅里叶变换的反变换$f(t)=\frac{1}{2π} ∫_{−∞}^{+∞}F(ω)e^{ iωt} dω$形式相同，所以去掉负号同理可证。对于离散变量的特征函数，相应的修改即可：$\sum_{t} e^{iwt} P(X=t)$。

定义：设随机变量的分布函数为$F(x)$，称$g(t)=E[e^{itX}]=\int_{-\infty}^{\infty}e^{itx}dF(x)$，$-\infty<t<\infty$，为X的特征函数

1. 二项分布$B(n,p)$，特征函数为：$$\begin{align*} &g(w)=\sum_{t=0}^{n}e^{iwt}C_{n}^{t}p^{t}q^{n-t}\\ &=\sum_{t=0}^{n}C_{n}^{t}(pe^{iw})^{t}q^{n-t} \\ &=(pe^{iw}+q)^{n} \end{align*}$$则期望通过取一阶导：$g^{\prime}(w)=[(pe^{iw}+q)^{n}]^{\prime}=i*n(pe^{iw}+q)^{n-1}pe^{iw}$

取$w=0$，则$g^{\prime}(0)=i*n(pe^{iw}+q)^{n-1}pe^{iw}=i*np$，对应的$EX=np$

1. 正态分布$X\sim N(\mu,\sigma^2)$，特征函数为：$\int_{-\infty}^{+\infty} e^{itx} \frac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx$，因为$\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx =1$。

特别是标准正态分布$X\sim N(0,1)$，$\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2 \pi }} e^{-\frac{x^2}{2}} dx =1$，从而可知$\int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}} dx = \sqrt{2 \pi }$，特征函数为：$$\begin{align*}&g(t)=\int_{-\infty}^{+\infty}e^{itx}\frac{1}{\sqrt{2 \pi}}e^{-\frac{x^2}{2}}dx \\& = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty}e^{itx-\frac{x^2}{2}}dx \\& = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} [(x-it)^2-(it)^2]}dx \\& = \frac{e^{\frac{1}{2}(it)^2}}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} (x-it)^2}dx \\& = \frac{e^{\frac{1}{2}(it)^2}}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} y^2}dy \\& = e^{\frac{(it)^2}{2}} = e^{-\frac{t^2}{2}} \end{align*}$$其中积分换元：$y=x-it$，由围道积分证明$dy=dx$。

则非标准正态分布通过标准化$Z=\frac{x-\mu}{\sigma}$，X的特征函数即：$$\begin{align*} & \int_{-\infty}^{+\infty}e^{itx}\frac{1}{\sqrt{2 \pi\sigma}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \\&=\int_{-\infty}^{+\infty}e^{it(\sigma z+\mu)}\frac{1}{\sqrt{2 \pi\sigma}}e^{-\frac{(\sigma z)^2}{2\sigma^2}}d\sigma z \\ & =e^{it\mu}\int_{-\infty}^{+\infty}e^{it\sigma z}\frac{1}{\sqrt{2 \pi}}e^{-\frac{z^2}{2}}d z \\ & =e^{it\mu}\int_{-\infty}^{+\infty}e^{i(t\sigma) z}\frac{1}{\sqrt{2 \pi}}e^{-\frac{z^2}{2}}d z \\ & =e^{it\mu} e^{-\frac{(\sigma t)^2}{2}} \end{align*}$$从上可知，当已知X的特征函数$g(t)=∫_{−∞}^{+∞} e ^{−itx}f(x)dx$，则当$Y=aX+b$时，Y的特征函数$∫_{−∞}^{+∞} e ^{−ity}u(y)dy$。

Y的概率密度$u(y)$需通过分布来求：$F_X(x)=P(X\le x)=\int_{-\infty}^{x} f(x)dx$，用$X=\frac{Y-b}{a}$代入，$P(\frac{Y-b}{a}\le x)=P(Y\le ax+b)=\int_{-\infty}^{x} f(x)dx$，

对Y求导：$(P(Y\le ax+b))^{\prime}=F_Y^{\prime}(y)=u(y)=(\int_{-\infty}^{\frac{y-b}{a}} f(x)dx)^{\prime}$，

1. 通过莱布尼茨定理：$G(x)=\int_{-\infty}^{v(x)} h(t)dt$，

$$\begin{align*} G^{\prime}(x)&=\lim_{\Delta x \rightarrow0} \frac{G(x+\Delta x)-G(x)}{\Delta x} \\ &=\lim_{\Delta x \rightarrow0} \frac{\int_{-\infty}^{v(x+\Delta x)}h(t)dt-\int_{-\infty}^{v(x)}h(t)dt}{\Delta x} \\ &=\lim_{\Delta x \rightarrow0} \frac{\int_{v(x)}^{v(x+\Delta x)}h(t)dt}{\Delta x} \end{align*}$$

中值定理，对于积分存在一个$\xi$使得$h(\xi)[v(x+\Delta x)-v(x)]=\int_{v(x)}^{v(x+\Delta x)}h(t)dt$，所以：$G^{\prime}(x)=\lim_{\Delta x \rightarrow0} \frac{h(\xi)[v(x+\Delta x)-v(x)]}{\Delta x}$，由$\Delta x \rightarrow 0$，$\xi \rightarrow v(x)$，$G^{\prime}(x)=h(v(x))v^{\prime}(x)$

1. 或通过换元：$(\int_{-\infty}^{\frac{y-b}{a}} f(x)dx)^{\prime}=(\int_{-\infty}^{z} f(z)d\frac{y-b}{a})^{\prime}=(\int_{-\infty}^{z} \frac{1}{a}f(\frac{y-b}{a})dy)^{\prime}= \frac{1}{a}f(\frac{y-b}{a})$

代入Y的特征函数：$$\begin{align*}&∫_{-\infty}^{+\infty}e^{-ity}\frac{1}{a}f(\frac{y-b}{a})dy\\&=∫_{-\infty}^{+\infty}e^{-it(ax+b)}\frac{1}{a}f(x)d(ax+b) \\&=e^{-itb}g(at) \end{align*}$$

6、母函数

傅里叶变换如果积分结果发散则无法积出结果，因此保证变换后的傅里叶积分收敛、有意义，需要求被积函数绝对可积。

$F(ω)=∫ _{−∞}^{+∞}f(t)cosωtdt−i∫ _{−∞}^{+∞}f(t)sinωtdt$（欧拉公式：$e^{−iωt}=cosωt−isinωt$），这样避免正负抵消的 “假象收敛”，保证变换稳定性。

但对不能绝对可积的函数，则加入抑制因子$e^{-\beta x}$得：$∫_{−∞}^{+∞} e^{-\beta x}e ^{−itx}f(x)dx$，因抑制因子是一个急剧下压至0的函数，所以控制函数不发散，但负轴方向却是发散的，所以积分区域改成正半轴，以保证积分收敛：$∫_{0}^{+∞} e ^{-(\beta +it)x}f(x)dx$，也就是拉普拉斯变换

令$S=\beta+iw$则表达式为：$∫_{0}^{+∞} e ^{-sx}f(x)dx$，和上面介绍一样，此函数仅是借用的工具，为了简单，去掉负号为：$∫_{0}^{+∞} e ^{sx}f(x)dx$。

因为$e^x=x^0+x^1+\frac{1}{2}x^2+...$，通过截断就能分析$e^x$的值，同理，了解了$x^n$的性质，也就可以了解$e^x$，为此也可以改成（n是0,1，2...，所以用离散形式）：$\sum_{n=0}^{\infty}S^nP(X=n)$，也就是母函数，记为：$E[s^{X}]=\sum_{k=0}^{\infty}p_{k}s^{k}$。所以母函数可研究非负整数值随机变量。

1. 性质：

1、独立随机变量之和的母函数等于母函数之积

2、若$X_1,X_2,…$是相互独立且同分布的非负整数值随机变量，N是$X_1,X_2,…$独立的非负整数随机变量，则$Y=\sum_{k=1}^{N}X_k$的母函数$H(s)=G(Q(s))$，其中$G(s),Q(s)$分别是$N,X_1$的母函数

证：$H(s)=\int_0^{\infty}s^yf(y)dy$，y出现的概率是随机变量N取某个值为$l$时，$X_1,…X_l$之和为y的概率，即$f_N(l)f_{Y|N=l}(y)$。

某一组取值时的概率$f_{(y,X_1,X_2,...X_{l-1})}(y,x_1,x_2,...x_{l-1})$等于：$$\begin{align*} f_{(X_1,X_2,...X_l)}(x_1,x_2,...y-x_1-x_2...-x_{l-1}) \\=f_{X_1}(x_1)f_{X_2}(x_2)...f_{X_l}(y-x_1-x_2...-x_{l-1})& \end{align*}$$而取$Y=y$时，$X_1,…X_l$每个取值都可以是任意，因此：$$\begin{align*} f_{Y|N=l}(y)=\int_{0}^{\infty}\int_{0}^{\infty}...\int_{0}^{\infty}f_{X_1}(x_1)f_{X_2}(x_2)...f_{X_l}(y-x_1-x_2...-x_{l-1})dx_1dx_2...dx_{l-1} \end{align*}$$

上面公式即是卷积$(f_{X_1}*f_{X_2})(y)$。如：两个独立随机变量和$Y=X_1 +X_2 ​$的概率密度公式：$f _Y (y)=∫ _{−∞}^∞ f _{X _1} (x _1 )f_{X_2}(y-x_1)dx_1$

$s^y=s^{X_1}s^{X_2}...s^{X_l}$；且$y=\sum_{k=1}^{l}x_{k}$，当$x_1,…x_{l-1}$同时出现的概率就决定了$x_l$，反过来$x_l$出现的概率也就是y出现的概率，所以$dy=dx_l$。则

$$\begin{align*} H(s)&=\int_0^{\infty}s^{x_1}...s^{x_l}\int_1^{\infty}f_N(l)\int_{0}^{\infty}...\int_{0}^{\infty}f_{X_1}(x_1)...f_{X_{l-1}}(x_{l-1})f_{X_l}(y-x_1-x_2...-x_{l-1})dx_1...dx_{l-1} dx_l \\ &= \int_1^{\infty}f_N(l)\int_{0}^{\infty}s^{x_1}f_{X_1}(x_1)...\int_{0}^{\infty}s^{x_{l}}f_{X_l}(x_{l}) dx_1...dx_l \end{align*}$$

因为$X_1,X_2,…$相互独立，所以$x_1,...x_{l-1},x_l$前$l-1$个变量是不相互影响的，仅$x_l=y-\sum_{k=1}^{l-1}x_{k}$受限。所以：

$H(s) = \int_1^{\infty}f_N(l)\int_{0}^{\infty}s^{x_1}f_{X_1}(x_1)dx_1...\int_{0}^{\infty}s^{x_{l}}f_{X_l}(x_{l}) dx_l$

至于$x_l,dx_l$不受限制了，可以移项组合，是因为$l$也是随机变量了。

又因为独立同分布，所以：$H(s) = \int_1^{\infty}f_N(l)(\int_{0}^{\infty}s^{x}f_{X}(x)dx)^l = \int_1^{\infty}f_N(l)(Q(s))^l=G(Q(s))$

7、n维正态分布

n维随机变量$X=(X_1,X_2,...X_n)^{T}$的联合概率密度为：$f(x)=f(x_1,x_2,...x_n)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-a)^T\Sigma^{-1}(x-a) \}$

推导：对于一元标准正态$X\sim N(0,1)$的概率密度：$\frac{1}{\sqrt{2 \pi}}e^{-\frac{x^2}{2}}$，拓展到n元标准正态：$(\frac{1}{\sqrt{2 \pi}})^ne^{-\frac{1}{2}(x_1^2+x_2^2+...+x_n^2)}=(\frac{1}{\sqrt{2 \pi}})^ne^{-\frac{1}{2}(X^TX)}$

对于n元非标准正态$Y=AX+\mu \Rightarrow X=A^{-1}(Y-\mu)$，Y的概率密度（由上面的推导可知）：$f_{Y}(y)=f_{X}(x)|det(\frac{\partial x}{\partial y})|$，（因为多维y的变化，导致x的变化是x的概率密度乘上面积，即雅可比行列式）。代入：$=(\frac{1}{\sqrt{2 \pi}})^ne^{-\frac{1}{2}[A^{-1}(Y-\mu)]^T[A^{-1}(Y-\mu)]}|A^{-1}|^n$。

设$AA^T=\Sigma$，则$[A^{-1}]^TA^{-1}=\Sigma^{-1}$。$det(Σ)=det(AA^⊤)=(detA) ^2$。

$(AB)(B^{-1}A^{-1})=E \Rightarrow (B^{-1}A^{-1})=(AB)^{-1}$

$|AB|=|A||B|$：矩阵乘相当于拉伸和旋转，对面积的放大/缩小系数是固定的。B放大一次，A在B的基础上再放大，系数都是矩阵的面积（行列式），所以先连续变形后再看放大系数与独立放大系数乘相同

注：如果$X=(X_1,X_2,...X_n)$，表示行向量的话：$f(x)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-a)\Sigma^{-1}(x-a)^T \}$