随机过程 第一章 预备知识（2）

5、特征函数

特征函数是为了更方便研究随机变量的数字特征，而引入的数学工具--傅里叶变换

$F(ω)=∫_{−∞}^{+∞} f(t)e ^{−iωt}dt$

通过对傅里叶公式进行求导，积分后是关于变量ω的函数：$F^{\prime}(ω)=-i∫_{−∞}^{+∞} e ^{−iωt} t f(t)dt$，当ω=0时，积分就对应了期望的公式，因此如果能求出$F^{\prime}(ω)$的值，那通过$EX = iF^{\prime}(0)$就能得到期望值，或者计算后的表达式$i$可提取出来，那剩余的项就是EX。因为是引入的工具，为了简单，我们直接去掉复数i，则给它取个名字为矩母函数。同理方差就是二阶导：$F^{\prime\prime}(\omega)=(-i)^2∫_{-\infty}^{+\infty}e^{-i\omega t}t^2f(t)dt \Rightarrow DX=i^2 F^{\prime\prime}(\omega)$。

因为傅里叶变换的反变换$f(t)=\frac{1}{2π} ∫_{−∞}^{+∞}F(ω)e^{ iωt} dω$形式相同，所以去掉负号同理可证。对于离散变量的特征函数，相应的修改即可：$\sum_{t} e^{iwt} P(X=t)$。

定义：设随机变量的分布函数为$F(x)$，称$g(t)=E[e^{itX}]=\int_{-\infty}^{\infty}e^{itx}dF(x)$，$-\infty<t<\infty$，为X的特征函数

1. 二项分布$B(n,p)$，特征函数为：$$\begin{align*} &g(w)=\sum_{t=0}^{n}e^{iwt}C_{n}^{t}p^{t}q^{n-t}\\ &=\sum_{t=0}^{n}C_{n}^{t}(pe^{iw})^{t}q^{n-t} \\ &=(pe^{iw}+q)^{n} \end{align*}$$则期望通过取一阶导：$g^{\prime}(w)=[(pe^{iw}+q)^{n}]^{\prime}=i*n(pe^{iw}+q)^{n-1}pe^{iw}$

取$w=0$，则$g^{\prime}(0)=i*n(pe^{iw}+q)^{n-1}pe^{iw}=i*np$，对应的$EX=np$

1. 正态分布$X\sim N(\mu,\sigma^2)$，特征函数为：$\int_{-\infty}^{+\infty} e^{itx} \frac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx$，因为$\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} dx =1$。

特别是标准正态分布$X\sim N(0,1)$，$\int_{-\infty}^{+\infty} \frac{1}{\sqrt{2 \pi }} e^{-\frac{x^2}{2}} dx =1$，从而可知$\int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}} dx = \sqrt{2 \pi }$，特征函数为：$$\begin{align*}&g(t)=\int_{-\infty}^{+\infty}e^{itx}\frac{1}{\sqrt{2 \pi}}e^{-\frac{x^2}{2}}dx \\& = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty}e^{itx-\frac{x^2}{2}}dx \\& = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} [(x-it)^2-(it)^2]}dx \\& = \frac{e^{\frac{1}{2}(it)^2}}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} (x-it)^2}dx \\& = \frac{e^{\frac{1}{2}(it)^2}}{\sqrt{2 \pi}} \int_{-\infty}^{+\infty} e^{-\frac{1}{2} y^2}dy \\& = e^{\frac{(it)^2}{2}} = e^{-\frac{t^2}{2}} \end{align*}$$其中积分换元：$y=x-it$，由围道积分证明$dy=dx$。（见底面证明）

则非标准正态分布通过标准化$Z=\frac{x-\mu}{\sigma}$，X的特征函数即：$$\begin{align*} & \int_{-\infty}^{+\infty}e^{itx}\frac{1}{\sqrt{2 \pi\sigma}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx \\&=\int_{-\infty}^{+\infty}e^{it(\sigma z+\mu)}\frac{1}{\sqrt{2 \pi\sigma}}e^{-\frac{(\sigma z)^2}{2\sigma^2}}d\sigma z \\ & =e^{it\mu}\int_{-\infty}^{+\infty}e^{it\sigma z}\frac{1}{\sqrt{2 \pi}}e^{-\frac{z^2}{2}}d z \\ & =e^{it\mu}\int_{-\infty}^{+\infty}e^{i(t\sigma) z}\frac{1}{\sqrt{2 \pi}}e^{-\frac{z^2}{2}}d z \\ & =e^{it\mu} e^{-\frac{(\sigma t)^2}{2}} \end{align*}$$从上可知，当已知X的特征函数$g(t)=∫_{−∞}^{+∞} e ^{−itx}f(x)dx$，则当$Y=aX+b$时，Y的特征函数$∫_{−∞}^{+∞} e ^{−ity}u(y)dy$。

Y的概率密度$u(y)$需通过分布来求：$F_X(x)=P(X\le x)=\int_{-\infty}^{x} f(x)dx$，用$X=\frac{Y-b}{a}$代入，$P(\frac{Y-b}{a}\le x)=P(Y\le ax+b)=\int_{-\infty}^{x} f(x)dx$，

对Y求导：$(P(Y\le ax+b))^{\prime}=F_Y^{\prime}(y)=u(y)=(\int_{-\infty}^{\frac{y-b}{a}} f(x)dx)^{\prime}$，

1. 通过莱布尼茨定理：$G(x)=\int_{-\infty}^{v(x)} h(t)dt$，

$$\begin{align*} G^{\prime}(x)&=\lim_{\Delta x \rightarrow0} \frac{G(x+\Delta x)-G(x)}{\Delta x} \\ &=\lim_{\Delta x \rightarrow0} \frac{\int_{-\infty}^{v(x+\Delta x)}h(t)dt-\int_{-\infty}^{v(x)}h(t)dt}{\Delta x} \\ &=\lim_{\Delta x \rightarrow0} \frac{\int_{v(x)}^{v(x+\Delta x)}h(t)dt}{\Delta x} \end{align*}$$

中值定理，对于积分存在一个$\xi$使得$h(\xi)[v(x+\Delta x)-v(x)]=\int_{v(x)}^{v(x+\Delta x)}h(t)dt$，所以：$G^{\prime}(x)=\lim_{\Delta x \rightarrow0} \frac{h(\xi)[v(x+\Delta x)-v(x)]}{\Delta x}$，由$\Delta x \rightarrow 0$，$\xi \rightarrow v(x)$，$G^{\prime}(x)=h(v(x))v^{\prime}(x)$

1. 或通过换元：$(\int_{-\infty}^{\frac{y-b}{a}} f(x)dx)^{\prime}=(\int_{-\infty}^{z} f(z)d\frac{y-b}{a})^{\prime}=(\int_{-\infty}^{z} \frac{1}{a}f(\frac{y-b}{a})dy)^{\prime}= \frac{1}{a}f(\frac{y-b}{a})$

代入Y的特征函数：$$\begin{align*}&∫_{-\infty}^{+\infty}e^{-ity}\frac{1}{a}f(\frac{y-b}{a})dy\\&=∫_{-\infty}^{+\infty}e^{-it(ax+b)}\frac{1}{a}f(x)d(ax+b) \\&=e^{-itb}g(at) \end{align*}$$

6、母函数

傅里叶变换如果积分结果发散则无法积出结果，因此保证变换后的傅里叶积分收敛、有意义，需要求被积函数绝对可积。

$F(ω)=∫ _{−∞}^{+∞}f(t)cosωtdt−i∫ _{−∞}^{+∞}f(t)sinωtdt$（欧拉公式：$e^{−iωt}=cosωt−isinωt$），这样避免正负抵消的 “假象收敛”，保证变换稳定性。

但对不能绝对可积的函数，则加入抑制因子$e^{-\beta x}$得：$∫_{−∞}^{+∞} e^{-\beta x}e ^{−itx}f(x)dx$，因抑制因子是一个急剧下压至0的函数，所以控制函数不发散，但负轴方向却是发散的，所以积分区域改成正半轴，以保证积分收敛：$∫_{0}^{+∞} e ^{-(\beta +it)x}f(x)dx$，也就是拉普拉斯变换

令$S=\beta+iw$则表达式为：$∫_{0}^{+∞} e ^{-sx}f(x)dx$，和上面介绍一样，此函数仅是借用的工具，为了简单，去掉负号为：$∫_{0}^{+∞} e ^{sx}f(x)dx$。

因为$e^x=x^0+x^1+\frac{1}{2}x^2+...$，通过截断就能分析$e^x$的值，同理，了解了$x^n$的性质，也就可以了解$e^x$，为此也可以改成（n是0,1，2...，所以用离散形式）：$\sum_{n=0}^{\infty}S^nP(X=n)$，也就是母函数，记为：$E[s^{X}]=\sum_{k=0}^{\infty}p_{k}s^{k}$。所以母函数可研究非负整数值随机变量。

1. 性质：

1、独立随机变量之和的母函数等于母函数之积

2、若$X_1,X_2,…$是相互独立且同分布的非负整数值随机变量，N是$X_1,X_2,…$独立的非负整数随机变量，则$Y=\sum_{k=1}^{N}X_k$的母函数$H(s)=G(Q(s))$，其中$G(s),Q(s)$分别是$N,X_1$的母函数

证：$H(s)=\int_0^{\infty}s^yf(y)dy$，y出现的概率是随机变量N取某个值为$l$时，$X_1,…X_l$之和为y的概率，即$f_N(l)f_{Y|N=l}(y)$。

某一组取值时的概率$f_{(y,X_1,X_2,...X_{l-1})}(y,x_1,x_2,...x_{l-1})$等于：$$\begin{align*} f_{(X_1,X_2,...X_l)}(x_1,x_2,...y-x_1-x_2...-x_{l-1}) \\=f_{X_1}(x_1)f_{X_2}(x_2)...f_{X_l}(y-x_1-x_2...-x_{l-1})& \end{align*}$$而取$Y=y$时，$X_1,…X_l$每个取值都可以是任意，因此：$$\begin{align*} f_{Y|N=l}(y)=\int_{0}^{\infty}\int_{0}^{\infty}...\int_{0}^{\infty}f_{X_1}(x_1)f_{X_2}(x_2)...f_{X_l}(y-x_1-x_2...-x_{l-1})dx_1dx_2...dx_{l-1} \end{align*}$$

上面公式即是卷积$(f_{X_1}*f_{X_2})(y)$。如：两个独立随机变量和$Y=X_1 +X_2 ​$的概率密度公式：$f _Y (y)=∫ _{−∞}^∞ f _{X _1} (x _1 )f_{X_2}(y-x_1)dx_1$

$s^y=s^{X_1}s^{X_2}...s^{X_l}$；且$y=\sum_{k=1}^{l}x_{k}$，当$x_1,…x_{l-1}$同时出现的概率就决定了$x_l$，反过来$x_l$出现的概率也就是y出现的概率，所以$dy=dx_l$。则

$$\begin{align*} H(s)&=\int_0^{\infty}s^{x_1}...s^{x_l}\int_1^{\infty}f_N(l)\int_{0}^{\infty}...\int_{0}^{\infty}f_{X_1}(x_1)...f_{X_{l-1}}(x_{l-1})f_{X_l}(y-x_1-x_2...-x_{l-1})dx_1...dx_{l-1} dx_l \\ &= \int_1^{\infty}f_N(l)\int_{0}^{\infty}s^{x_1}f_{X_1}(x_1)...\int_{0}^{\infty}s^{x_{l}}f_{X_l}(x_{l}) dx_1...dx_l \end{align*}$$

因为$X_1,X_2,…$相互独立，所以$x_1,...x_{l-1},x_l$前$l-1$个变量是不相互影响的，仅$x_l=y-\sum_{k=1}^{l-1}x_{k}$受限。所以：

$H(s) = \int_1^{\infty}f_N(l)\int_{0}^{\infty}s^{x_1}f_{X_1}(x_1)dx_1...\int_{0}^{\infty}s^{x_{l}}f_{X_l}(x_{l}) dx_l$

至于$x_l,dx_l$不受限制了，可以移项组合，是因为$l$也是随机变量了。

又因为独立同分布，所以：$H(s) = \int_1^{\infty}f_N(l)(\int_{0}^{\infty}s^{x}f_{X}(x)dx)^l = \int_1^{\infty}f_N(l)(Q(s))^l=G(Q(s))$

7、n维正态分布

n维随机变量$X=(X_1,X_2,...X_n)^{T}$的联合概率密度为：$f(x)=f(x_1,x_2,...x_n)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-a)^T\Sigma^{-1}(x-a) \}$

(一元正态$X\sim N(\mu,\sigma^2)$的概率密度：$\frac{1}{\sqrt{2 \pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$)

推导：

1、设 $Z_1$ 和 $Z_2$ 相互独立，且都服从标准正态分布：$Z_1 \sim N(0,1), \quad Z_2 \sim N(0,1)$， 它们的联合概率密度函数为：$f_{Z_1,Z_2}(z_1, z_2) = \frac{1}{2\pi} \exp\left(-\frac{1}{2}(z_1^2 + z_2^2)\right)$

2、因为我们想要得到均值为 $\mu_1, \mu_2$，方差为 $\sigma_1^2, \sigma_2^2$，相关系数为 $\rho$ 的二元正态变量 $X_1, X_2$，构造线性变换 ：

$X_1 = \mu_1 + \sigma_1 Z_1 \\[4pt]$ $X_2 = \mu_2 + \sigma_2 \left( \rho Z_1 + \sqrt{1-\rho^2} \, Z_2 \right)$

可以验证：

$\mathrm{Var}(X_1) = \sigma_1^2 \mathrm{Var}(Z_1) = \sigma_1^2$

$\mathrm{Var}(X_2) = \sigma_2^2 \left( \rho^2 \mathrm{Var}(Z_1) + (1-\rho^2) \mathrm{Var}(Z_2) + 2\rho\sqrt{1-\rho^2}\mathrm{Cov}(Z_1,Z_2) \right)=\sigma_2^2$

$\mathrm{Cov}(X_1, X_2) = \mathrm{Cov}(\sigma_1 Z_1,\; \sigma_2(\rho Z_1 + \sqrt{1-\rho^2} Z_2)) = \rho\sigma_1\sigma_2$

把 X 写成向量形式 $X=μ+AZ$ ，其中$Z∼N(0,I)$：$$\begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} + \underbrace{\begin{pmatrix} \sigma_1 & 0 \\ \rho\sigma_2 & \sigma_2\sqrt{1-\rho^2} \end{pmatrix}}_{A} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix}$$协方差矩阵：$\Sigma = A A^T = \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{pmatrix}$

3、利用线性变换的密度变换公式

已知：$f_{\mathbf{Z}}(\mathbf{z}) = \frac{1}{2\pi} \exp\left(-\frac{1}{2}\mathbf{z}^T\mathbf{z}\right)$ ，则 $f_\mathbf{X} (\mathbf{x})=f_\mathbf{Z} (\mathbf{z})⋅∣J∣$。

注意$∣J∣=|A| ^{−1}=\sigma_1\sigma_2\sqrt{1-\rho^2}$，因为$\mathbf{z} = A^{-1}(\mathbf{x} - \boldsymbol{\mu})$， $f_{\mathbf{X}}(\mathbf{x})=f_{\mathbf{Z}}(\mathbf{z})\cdot\vert\det( \frac{\partial z}{\partial x})\vert$，（多维 $\mathbf{z}$ 的变化，导致$\mathbf{x}$的变化。是$\mathbf{z}$的概率密度乘上面积改变比例，即雅可比行列式）

4、计算指数部分的二次型

由于 $\mathbf{z} = A^{-1}(\mathbf{x} - \boldsymbol{\mu})$，有： $\mathbf{z}^T\mathbf{z} = (\mathbf{x} - \boldsymbol{\mu})^T (A^{-1})^T A^{-1} (\mathbf{x} - \boldsymbol{\mu})$

$(A^{-1})^T A^{-1} = (A A^T)^{-1} = \Sigma^{-1}$

5、代入得到：$f_{X_1,X_2}(x_1,x_2) = \frac{1}{2\pi \cdot |A|} \exp\left[ -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right]$，

通过计算：$|A| = \sigma_1 \sigma_2 \sqrt{1-\rho^2}$，$\Sigma^{-1} = \frac{1}{1-\rho^2} \begin{pmatrix} \frac{1}{\sigma_1^2} & -\frac{\rho}{\sigma_1 \sigma_2} \\[6pt] -\frac{\rho}{\sigma_1 \sigma_2} & \frac{1}{\sigma_2^2} \end{pmatrix}$，

可得二元正态概率密度公式：$\boxed{ f(x_1,x_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left[ -\frac{1}{2(1-\rho^2)} \left( \frac{(x_1-\mu_1)^2}{\sigma_1^2} - 2\rho\frac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2} + \frac{(x_2-\mu_2)^2}{\sigma_2^2} \right) \right] }$

6、拓展到n元标准正态同理可证 $f_\mathbf{X} (\mathbf{x})=\frac{1}{(2\pi)^{n/2} \cdot |\Sigma|^{1/2}} \exp\left[ -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right]$。

$det(Σ)=det(AA^⊤)=(detA) ^2$。

$(AB)(B^{-1}A^{-1})=E \Rightarrow (B^{-1}A^{-1})=(AB)^{-1}$

$|AB|=|A||B|$：矩阵乘相当于拉伸和旋转，对面积的放大/缩小系数是固定的。B放大一次，A在B的基础上再放大，系数都是矩阵的面积（行列式），所以先连续变形后再看放大系数与独立放大系数乘相同

注：如果$X=(X_1,X_2,...X_n)$，表示行向量的话：$f(x)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-a)\Sigma^{-1}(x-a)^T \}$

证明：$\int_{-\infty}^{+\infty} e^{-\frac{1}{2} (x-it)^2}dx$，令$y=x-it$，由围道积分证明$\int_{-\infty}^{+\infty} e^{-\frac{1}{2} y^2}dy$:

由于指数函数解析，所以满足柯西积分定理，沿任意闭合围道积分为 0（逆时针）。由于t是常数，所以做个矩形，上边是实轴从$-\infty$到$+\infty$，此时虚轴为0（$\int_{-\infty}^{+\infty} e^{-\frac{1}{2} x^2}dx$:），下边是虚轴为t的横线$\int_{+\infty}^{-\infty} e^{-\frac{1}{2} (x-it)^2}dx$，左右是在无穷点从0到t的竖线，积分函数为$e^{-\frac{1}{2} (R-iy)^2}$，$R \rightarrow \infty$，展开得：$e^{-\frac{1}{2}(R^2-2iRy+y^2)}$，函数的模$e^{-\frac{1}{2}(R^2+y^2)}$，y是有界不超过t，所以模趋于0。得到：$\int_{-\infty}^{+\infty} e^{-\frac{1}{2} x^2}dx=\int_{+\infty}^{-\infty} e^{-\frac{1}{2} (x-it)^2}dx$，右侧改积分方向不改变值，也即得证