2.5 例子（续）
上一讲的最后介绍了 AR 序列自相关系数的递推公式，现在来考察 AR(2) 自协方差函数的计算。
（一）AR(2) 的自协方差函数
例 X_{t}-0.7 X_{t-1}+0.1 X_{t-2}=\varepsilon_{t}, \quad \varepsilon_{t} \sim W N\left(0, \sigma^{2}\right)
解法一：Y-W 方程推论
根据 Y-W 方程的推论可以得到关于自协方差函数的如下递推关系
\[\left\{ {\begin{array}{*{20}{c}} {{\gamma _0} - 0.7{\gamma _1} + 0.1{\gamma _2} = {\sigma ^2}}\\ {{\gamma _k} - 0.7{\gamma _{k - 1}} + 0.1{\gamma _{k - 2}} = 0,\quad k \ge 1} \end{array}} \right.\\\]
其中由第二个式子可得
\[{\gamma _k} = {C_1}{\left( {\frac{1}{2}} \right)^k} + {C_2}{\left( {\frac{1}{5}} \right)^k},\quad k \ge 0\\\]
考察 Y-W 方程推论在 k=0 和 1的情形
\[\left\{ {\begin{array}{*{20}{c}} {{\gamma _0} - 0.7{\gamma _1} + 0.1{\gamma _2} = {\sigma ^2}}\\ {{\gamma _1} - 0.7{\gamma _0} + 0.1{\gamma _1} = 0} \end{array}} \right.\\\]
我们需要解出两个待定的常数，利用得到的通解取 k=0 和 1，有
\[{\gamma _0} = {C_1} + {C_2},\quad {\gamma _1} = \frac{1}{2}{C_1} + \frac{1}{5}{C_2}\\\]
将其代入上面的式子中化简得到
\[\left\{ {\begin{array}{*{20}{c}} {\frac{{27}}{{40}}{C_1} + \frac{{108}}{{125}}{C_2} = {\sigma ^2}}\\ {{C_1} + \frac{{16}}{5}{C_2} = 0} \end{array}} \right. \Rightarrow \left\{ {\begin{array}{*{20}{l}} {{C_1} = \frac{{200}}{{81}}{\sigma ^2}}\\ {{C_2} = - \frac{{125}}{{162}}{\sigma ^2}} \end{array}} \right.\\\]
所以
\gamma_{k}=\left[\frac{200}{81} \times\left(\frac{1}{2}\right)^{|k|}-\frac{125}{162} \times\left(\frac{1}{5}\right)^{|k|}\right] \sigma^{2}, \quad k \in Z\\
解法二：级数展开
首先将特征多项式的倒数作有理因式分解，然后级数展开得到
\[\begin{array}{*{20}{c}} {\frac{1}{{1 - 0.7z + 0.1{z^2}}} = \frac{{ - 2/3}}{{1 - 0.2z}} + \frac{{5/3}}{{1 - 0.5z}}}\\ { = \sum\limits_{j = 0}^{ + \infty } {\left[ { - \frac{2}{3} \times {{\left( {\frac{1}{5}} \right)}^j} + \frac{5}{3} \times {{\left( {\frac{1}{2}} \right)}^j}} \right]} {z^j}} \end{array}\\\]
这样得到 wold 系数为 \[{\psi _j} = - \frac{2}{3} \times {\left( {\frac{1}{5}} \right)^j} + \frac{5}{3} \times {\left( {\frac{1}{2}} \right)^j}\]
当 k≥0 时，有
\[\begin{array}{l} {\gamma _k} = \sum\limits_{j = 0}^\infty {{\psi _j}{\psi _{j + k}}} = \sum\limits_{j = 0}^{ + \infty } {\left[ { - \frac{2}{3} \times {{\left( {\frac{1}{5}} \right)}^j} + \frac{5}{3} \times {{\left( {\frac{1}{2}} \right)}^j}} \right]} \left[ { - \frac{2}{3} \times {{\left( {\frac{1}{5}} \right)}^{j + k}} + \frac{5}{3} \times {{\left( {\frac{1}{2}} \right)}^{j + k}}} \right]{\sigma ^2}\\ = \sum\limits_{{\rm{j}} = 0}^{ + \infty } {\left[ {\frac{4}{9} \times {{\left( {\frac{1}{{25}}} \right)}^{\rm{j}}} - \frac{{10}}{9} \times {{\left( {\frac{1}{{10}}} \right)}^{\rm{j}}}} \right]} {\left( {\frac{1}{5}} \right)^{\rm{k}}}{\sigma ^2} + \sum\limits_{j = 0}^{ + \infty } {\left[ { - \frac{{10}}{9} \times {{\left( {\frac{1}{{10}}} \right)}^j} + \frac{{25}}{9} \times {{\left( {\frac{1}{4}} \right)}^j}} \right]} {\left( {\frac{1}{2}} \right)^k}{\sigma ^2}\\ = - \frac{{125}}{{162}} \times {\left( {\frac{1}{5}} \right)^{\rm{k}}}{\sigma ^2} + \frac{{200}}{{81}} \times {\left( {\frac{1}{2}} \right)^{\rm{k}}}{\sigma ^2} \end{array}\\\]
这样也能得到同样的结果，但计算上会复杂一些，考试时不采用此种方法。
解法三：先算自相关系数，再算 \gamma_0
首先根据定义有
\[{\gamma _0} = EX_t^2 = E{\left( {0.7{X_{t - 1}} - 0.1{X_{t - 2}} + {\varepsilon _t}} \right)^2} = 0.49{\gamma _0} + 0.01{\gamma _0} + {\sigma ^2} - 0.14{\gamma _1}\\\]
结合 Y-W 推论取 k=1 的情形 {{\gamma _1} - 0.7{\gamma _0} + 0.1{\gamma _1} = 0} 可以联立解得 \gamma_0,\gamma_1 。
我自己算了一遍，解法一和解法三的时间是差不多的，但解法三会避免一次性进行多个分数的通分运算，所以我个人偏向于解法三。
但是，有991计算器的情况下解法一体现出了碾压性的优势！
（二）AR(2) 的稳定域和允许域
上一讲的最后，我们计算得到使得 AR(2) 序列的特征根在单位圆外的系数满足
\mathscr{A}=\left\{\left(a_{1}, a_{2}\right): a_{2} \pm a_{1}<1,\left|a_{2}\right|<1\right\}\\
这一集合称为 AR(2) 的稳定域。
而根据 Y-W 方程，偏相关系数和自相关系数能够互相表示如下
\left\{\begin{array}{l} \rho_{1}=a_{1} \rho_{0}+a_{2} \rho_{1} \\ \rho_{2}=a_{1} \rho_{1}+a_{2} \rho_{0} \end{array}\right.\\\Rightarrow a_{1}=\frac{\rho_{1}\left(1-\rho_{2}\right)}{1-\rho_{1}^{2}}, \quad a_{2}=\frac{\rho_{2}-\rho_{1}^{2}}{1-\rho_{1}^{2}}\\\Rightarrow\rho_{1}=\frac{a_{1}}{1-a_{2}}, \quad \rho_{2}=a_{2}+\frac{a_{1}^{2}}{1-a_{2}}
可以得到当偏相关系数落入稳定域时，自相关系数的取值范围
\mathscr{C}=\left\{\left(\rho_{1}, \rho_{2}\right): \rho_{1}^{2}<\left(1+\rho_{2}\right) / 2,\left|\rho_{1}\right|<1,\left|\rho_{2}\right|<1\right\}\\
称这一集合为 AR(2) 的允许域。
稳定域和允许域等价性的证明：
由稳定域推允许域
\pm a_{1}<1-a_{2} \Rightarrow\left|a_{1}\right| |1-a_{2}|\Rightarrow| \rho_{1} \mid<1\\
\[{\rho _2} = \rho _1^2 + {a_2}\left( {1 - \rho _1^2} \right) \Rightarrow {\rho _2} < \rho _1^2 + |{a_2}\mid \cdot \left( {1 - \rho _1^2} \right) < \rho _1^2 + \left( {1 - \rho _1^2} \right) < 1\\\]
\[\begin{array}{l} - 1 < \frac{{{\rho _2} - \rho _1^2}}{{1 - \rho _1^2}} < 1 \Rightarrow - \left( {1 - \rho _1^2} \right) < {\rho _2} - \rho _1^2 < 1 - \rho _1^2\\ \Rightarrow \rho _1^2 < \left( {1 + {\rho _2}} \right)/2 \end{array}\\\]
由允许域推稳定域
\[\begin{array}{l} \rho _1^2 < \left( {1 + {\rho _2}} \right)/2 \Rightarrow - \left( {1 - \rho _1^2} \right) < {\rho _2} - \rho _1^2 < 1 - \rho _1^2\\ \Rightarrow - 1 < \frac{{{\rho _2} - \rho _1^2}}{{1 - \rho _1^2}} < 1 \Rightarrow \left| {{a_2}} \right| < 1 \end{array}\\\]
\[\left| {{\rho _1}} \right| < 1 \Rightarrow \left| {{a_1}} \right| < |1 - {a_2}\mid \Rightarrow \pm {a_1} < 1 - {a_2}\\\]
大致思路：稳定域的前两式等价允许域中的第一式，稳定域中第三式对应于允许域中的后两式。
（三）AR(2) 的谱密度
其谱密度的形式为 f(\lambda)=\frac{\sigma^{2}}{2 \pi} \cdot \frac{1}{\left|1-a_{1} e^{i \lambda}-a_{2} e^{2 i \lambda}\right|^{2}}
（1）实根不相等情形讨论：
设 \[{\lambda _1},{\lambda _2}\] 为 \[{\lambda ^2} - {a_1}\lambda - {a_2} = 0\] 的两个不相等实根，则自相关系数可以表示为
\rho_{k}=c_{1} \lambda_{1}^{k}++c_{2} \lambda_{2}^{k}, \mathrm{k} \geq 0\\
其中待定的常数满足方程组
\left\{\begin{array}{c} c_{1}+c_{2}=1 \\ c_{1} \lambda_{1}+c_{2} \lambda_{2}=\rho_{1} \end{array}\right.\\
可以解得
\left\{\begin{array}{l} c_{1}=\frac{\lambda_{2}-\rho_{1}}{\lambda_{2}-\lambda_{1}} \\ c_{2}=\frac{\rho_{1}-\lambda_{1}}{\lambda_{2}-\lambda_{1}} \end{array}\right.\\
而 \rho_{1}=\frac{a_{1}}{1-a_{2}}=\frac{\lambda_{1}+\lambda_{2}}{1+\lambda_{1} \lambda_{2}} ，所以
\rho_{k}=\frac{\left(1-\lambda_{2}^{2}\right) \lambda_{1}^{k+1}-\left(1-\lambda_{1}^{2}\right) \lambda_{2}^{k+1}}{\left(\lambda_{1}-\lambda_{2}\right)\left(1+\lambda_{1} \lambda_{2}\right)}, k \geq 0\\
对应的谱密度为
\[\begin{array}{l} f(\lambda ) = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{{{\left| {1 - {\lambda _1}{e^{i\lambda }}} \right|}^2} \times {{\left| {1 - {\lambda _2}{e^{i\lambda }}} \right|}^2}}}\\ = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{\left( {1 + \lambda _1^2 - 2{\lambda _1}\cos \lambda } \right) \times \left( {1 + \lambda _2^2 - 2{\lambda _2}\cos \lambda } \right)}} \end{array}\\\]
具体共有如图五种情形
以下介绍其中两个情形。
当 a2>0, a1<0 时：
考察 AR(2) 模型 X_{t}=-0.1 * X_{t-1}+0.3 * X_{t-2}+\varepsilon_{t}, \quad \varepsilon_{t} \sim W N(0,1)
特征根为 \lambda_{1}=-0.6, \lambda_{2}=0.5 ，自相关系数为
\rho_{k}=\frac{45}{77} \times(-0.6)^{k}+\frac{32}{77} \times 0.5^{k}, \mathrm{k} \geq 0\\
谱密度为
f(\lambda)=\frac{1}{2 \pi(1.36+1.2 \cos \lambda)(1.25-\cos \lambda)}\\
从谱密度的峰值可看出，具有周期 2\pi/\pi=2
当 a2<0, a1>0 时：
考察模型： X_{t}=0.9 * X_{t-1}-0.2 * X_{t-2}+\varepsilon_{t}, \quad \varepsilon_{t} \sim W N(0,1)
特征根为 \lambda_{1}=0.5, \lambda_{2}=0.4 ，自相关系数为
\rho_{k}=\frac{7}{2} \times 0.5^{k}-\frac{5}{2} \times 0.4^{k}, \mathrm{k} \geq 0\\
谱密度为
f(\lambda)=\frac{1}{2 \pi(1.16-0.8 \cos \lambda)(1.25-\cos \lambda)}\\
由于谱密度的峰值只有 0，所以无周期性。
注意：谱密度应该是 f(\lambda ) = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{{{\left| {1 - {\lambda ^{-1}_1}{e^{i\lambda }}} \right|}^2} \times {{\left| {1 - {\lambda^{-1} _2}{e^{i\lambda }}} \right|}^2}}} ，老师课件上写错了，后续模拟的图像应该还是对的。
（2）虚根情形讨论：
设两个共轭虚根为 z_{1}, z_{2}=b e^{\pm i \lambda_{0}} ， b>1, \lambda_{0} \neq 0, \pi ，根据上一讲开头计算的那个式子（自协方差表示为 cos 形式）可得
\rho_{k}=\frac{\cos \left(k \lambda_{0}+\theta_{0}\right)}{b^{k} \cos \left(\theta_{0}\right)}, \quad k \geq 0\\
从上面这个形式可以看出，自相关系数指数衰减，并且有周期振荡特性，振荡的角频率为 \lambda_0 。相应的周期为 2\pi/\lambda_0 。
也可以从差分方程的角度推导自相关系数：
\[\begin{array}{l} {\rho _k} = \left( {{a_1} + i{b_1}} \right){b^{ - k}}{e^{ik{\lambda _0}}} + \left( {{a_2} + i{b_2}} \right){b^{ - k}}{e^{ - ik{\lambda _0}}}\\ = \left[ {\left( {{a_1} + {a_2}} \right)\cos k{\lambda _0} + \left( {{b_2} - {b_1}} \right)\sin k{\lambda _0}} \right]{b^{ - k}}\\ = \left[ {{c_1}\cos k{\lambda _0} + {c_2}\sin k{\lambda _0}} \right]{b^{ - k}}\\ = c\cos \left( {k{\lambda _0} + {\theta _0}} \right){b^{ - k}} \end{array}\\\]
通过取 k=0 可以得到 c，结果和之前给出的一样。
\[\begin{array}{l} f(\lambda ) = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{{{\left| {1 - z_1^{ - 1}{e^{i\lambda }}} \right|}^2} \times {{\left| {1 - z_2^{ - 1}{e^{i\lambda }}} \right|}^2}}}\\ = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{\left( {1 - {b^{ - 1}}{e^{ - i{\lambda _0}}}{e^{i\lambda }}} \right) \times \left( {1 - {b^{ - 1}}{e^{i{\lambda _0}}}{e^{ - i\lambda }}} \right)}} \times \frac{1}{{\left( {1 - {b^{ - 1}}{e^{i{\lambda _0}}}{e^{i\lambda }}} \right) \times \left( {1 - {b^{ - 1}}{e^{ - i{\lambda _0}}}{e^{ - i\lambda }}} \right)}}\\ = \frac{{{\sigma ^2}}}{{2\pi }} \times \frac{1}{{\left( {1 + {b^{ - 2}} - 2{b^{ - 1}}\cos \left( {\lambda + {\lambda _0}} \right)} \right)}}\frac{1}{{\left( {1 + {b^{ - 2}} - 2{b^{ - 1}}\cos \left( {\lambda - {\lambda _0}} \right)} \right)}} \end{array}\\\]
其中 \[1 - z_1^{ - 1}{e^{i\lambda }},1 - z_2^{ - 1}{e^{ - i\lambda }}\] 是共轭的，注意不是 \[1 - z_1^{ - 1}{e^{i\lambda }},1 - z_2^{ - 1}{e^{i\lambda }}\] ！
考察具体模型： \[{X_t} = 0.75 {X_{t - 1}} - 0.5 {X_{t - 2}} + {\varepsilon _t},{\varepsilon _t}\sim WN\left( {0,{\sigma ^2}} \right)\]
其中衰减的角频率为 \lambda_0=0.9733
谱密度在 0.9733 处有峰值 。
第三章 MA 模型和 ARMA 模型
3.1 滑动平均模型
（一）q 步相关（q 后截尾）
平稳序列的自协方差函数满足 \gamma_{q} \neq 0 且 \gamma_{k}=0, k>q ，称该序列 q 步相关（q 步截尾）
现有一时间序列数据，其图像和自相关系数图像如下
其自相关系数有衰减趋势，但并没有达到负指数的速度，我们对数据进行一阶差分得到
其自相关系数一步截尾，因此可以拟合模型 Y_{t}=\varepsilon_{t}+\hat{b} \varepsilon_{t-1}, t \in \mathbb{Z} ，可得
{\rho}_{1}=\frac{1+b^2}{b}\Rightarrow\hat{b}=\frac{1-\sqrt{1-4 \hat{\rho}_{1}^{2}}}{2 \hat{\rho}_{1}}=-0.5276\\
注意：由此可得 \rho_1<0.5 .
（二）MA(q) 模型和 MA(q) 序列
定义 设 \[\left\{ {{\varepsilon _t}} \right\}\] 是 \[WN\left( {0,{\sigma ^2}} \right)\] ，如果实数 b_{1}, b_{2}, \ldots, b_{q} 使得
B(z)=1+\sum_{j=1}^{q} b_{j} z^{j} \neq 0,|z|<1\\
即特征多项式的根不在单位圆内，那么称
X_{t}=\varepsilon_{t}+\sum_{j=1}^{q} b_{j} \varepsilon_{t-j}, \quad t \in \mathbb{Z}\\
是 q 阶滑动平均模型，简称 MA(q) 模型。由上面式子决定的平稳序列，称为 MA(q) 序列。如果进一步要求单位圆上也没有零点，则称为可逆的 MA(q) 模型，相应的平稳序列为可逆的 MA(q) 序列。
问：根据定义，白噪声的线性和都是平稳序列，为什么要加条件？
答：对于根在单位圆内的，可以通过变换白噪声方差，使其满足根在单位圆外。
例如考察模型 X_{t}=\varepsilon_{t}+2 \varepsilon_{t-1}, \[\varepsilon_t \sim WN\left( {0,{\sigma ^2}} \right)\] ，它的特征多项式的根在单位圆内
但是对于 \[{X_t} = \varepsilon _t^* + \frac{1}{2}\varepsilon _{t - 1}^*,\] \[\varepsilon_t^* \sim WN\left( {0,{4\sigma ^2}} \right)\] ，计算得两个模型的自协方差函数是一样的，而下面这个模型满足特征根不再单位圆内，所以是 MA(2) 模型。
（1）可逆 MA 模型和 AR(∞)
利用推移算子可将模型写为
X_{t}=B(\mathscr{B}) \varepsilon_{t}, \quad t \in \mathbb{Z}\\
由于根都在单位圆外，所以可以将特征多项式泰勒展开得到
B^{-1}(z)=\sum_{j=0}^{\infty} \phi_{j} z^{j}, \quad|z| \leq 1+\delta(\delta>0)\\
因此
\varepsilon_{t}=B^{-1}(\mathscr{B}) X_{t}=\sum_{j=0}^{\infty} \phi_{j} X_{t-j}\\
也就是说对于 MA 模型，用 AR 模型来建模也是可以的。
（2）MA 序列的自协方差函数
记 b_0=1 ，则 MA(q) 序列的期望为 0 ，自协方差函数为
\begin{aligned} \gamma_{k} &=\mathrm{E}\left(X_{t} X_{t+k}\right) \\ &=\left\{\begin{array}{ll} \sigma^{2} \sum_{j=0}^{q-k} b_{j} b_{j+k}, & & 0 \leq k \leq q \\ 0, & & k>q \end{array}\right. \end{aligned}\\
（3）MA 序列的谱密度
MA(q) 序列的自协方差函数是 q 后截尾的，并且有谱密度
\begin{aligned} f(\lambda) &=\frac{\sigma^{2}}{2 \pi}\left|B\left(e^{i \lambda}\right)\right|^{2} \\ &=\frac{1}{2 \pi} \sum_{k=-q}^{q} \gamma_{k} e^{-i k \lambda}, \quad \lambda \in[-\pi, \pi] \end{aligned}\\ 第一个等号为线性平稳序列的谱密度公式，第二个等号利用谱密度的自协方差反演公式。
下面来证明 MA(q) 序列和自协方差函数是 q 后截尾等价。首先给出一个引理，它表明谱密度公式的第二行能倒推第一行。
引理 假设有实常数 \{c_j\} 使得 c_q\ne0 ，且
g(\lambda)=\frac{1}{2 \pi} \sum_{j=-q}^{q} c_{j} e^{-i j \lambda} \geq 0, \lambda \in[-\pi, \pi]\\
那么有唯一的实系数多项式满足单位圆内没根
B(z)=1+\sum_{j=1}^{q} b_{j} z^{j} \neq 0,|z|<1, b_{q} \neq 0\\
并且
g(\lambda)=\frac{\sigma^{2}}{2 \pi}\left|B\left(e^{i \lambda}\right)\right|^{2}\\
其中 \sigma^2 是某个常数。
证明：
首先常数 \{c_j\} 的对称性并不是显然的，但谱密度公式中自协方差函数是具有对称性的，所以先来证明 \{c_j\} 的对称性。
注意到 g(\lambda) 是实数，所以对等式两边同取共轭复数得到
\[\frac{1}{{2\pi }}\sum\limits_{j = - q}^q {{c_j}} {e^{ - ij\lambda }} = \frac{1}{{2\pi }}\sum\limits_{j = - q}^q {{c_j}} {e^{ij\lambda }}\\\]
等式右边用 j=-j 替代得到
\[\frac{1}{{2\pi }}\sum\limits_{j = - q}^q {{c_j}} {e^{ - ij\lambda }} = \frac{1}{{2\pi }}\sum\limits_{j = - q}^q {{c_{ - j}}} {e^{ - ij\lambda }}\\\]
两者相减得到
\[\sum\limits_{j = - q}^q {\left( {{c_j} - {c_{ - j}}} \right)} {e^{ - ij\lambda }} = 0\\\]
这个形式可以看成一个关于 \[{e^{ - i\lambda }}\] 的多项式，它恒等于 0 ，等价于系数为 0，这就得到了 \{c_j\} 的对称性。
接下来令 G(z)=\sum_{j=-q}^{q} c_{j} z^{j} ，则该多项式的 2q 个根中，每一个根的倒数也必然是根（因为 G(z)=G(z^{-1}) ），我们把这 q 对根中，所有不在单位圆内的根取出来，就得到 q 个不在单位圆内的根，由这些根组合可得 B(z) 。
然后考虑 g(\lambda) ，它的每一对互为倒数的实根对应的因子为 \[\left( {1 - \frac{{{e^{i\lambda }}}}{{{z_1}}},1 - {z_1}{e^{i\lambda }}} \right)\] ，而
\[1 - {z_1}{e^{i\lambda }} = {z_1}{e^{i\lambda }}\left( { - 1 + \frac{{{e^{ - i\lambda }}}}{{{z_1}}}} \right)\\\]
因此 \[\left( {1 - \frac{{{e^{i\lambda }}}}{{{z_1}}},1 - {z_1}{e^{i\lambda }}} \right)\] 是共轭的，两者相乘便得到引理中模平方的结构。
而对于每一对互为倒数的复根，我们需要找到与其共轭的另外一对互为倒数的复根，这样对应的 \[\left( {1 - \frac{{{e^{i\lambda }}}}{{{z_1}}},1 - {{\bar z}_1}{e^{i\lambda }}} \right)\] 才是共轭的。，这是需要注意的地方。
而当 q 后截尾且自协方差绝对可和的时候，谱密度可以写为
f(\lambda)=\frac{1}{2 \pi} \sum_{k=-q}^{q} \gamma_{k} e^{-i k \lambda}\\
根据引理 \[f(\lambda ) = \frac{{{\sigma ^2}}}{{2\pi }}\mid B\left( {{e^{ - i\lambda }}} \right){{\rm{|}}^2}\] ，其中 B(z) 在单位圆内没有根（这里严格来说还要讨论根在单位圆上的情形，但这比较复杂，就略去了，后面就假定单位圆上也没有根），利用线性滤波的谱密度公式可得
\varepsilon_{t}=B^{-1}(\mathscr{B}) X_{t}\\
是白噪声序列，这就证明了 \left\{X_{t}\right\} 是 MA(q) 序列。
（3）MA 序列系数的计算
线性迭代法：
自协方差函数可以写为
\gamma_{k}=\sigma^{2}\left(b_{0} b_{k}+b_{1} b_{k+1}+\cdots+b_{q-k} b_{q}\right), \quad 0 \leq k \leq q\\
进而
\left\{\begin{array}{c} \sigma^{2}=\frac{\gamma_{0}}{1+b_{1}^{2}+b_{2}^{2}+\cdots+b_{q}^{2}} \\ b_{k}=\frac{\gamma_{k}}{\sigma^{2}}-\left(b_{1} b_{k+1}+b_{2} b_{k+2}+\cdots+b_{q-k} b_{q}\right), 1 \leq k \leq q-1 \\ b_{q}=\frac{\gamma_{q}}{\sigma^{2}} \end{array}\right.\\
Newton-Raphson算法：
递推式为
\left\{\begin{aligned} \left(1+b_{1}^{2}+b_{2}^{2}+\cdots+b_{q}^{2}\right) \sigma^{2}-\gamma_{0} &=0 \\ \left(b_{k}+b_{1} b_{k+1}+b_{2} b_{k+2}+\cdots+b_{q-k} b_{q}\right) \sigma^{2}-\gamma_{k} &=0,1 \leq k \leq q-1, \\ b_{q} \sigma^{2}-\gamma_{q}=0 \end{aligned}\right.\\
利用牛顿法迭代解多元非线性方程组的公式
\boldsymbol{x}^{(k+1)}=\boldsymbol{x}^{(k)}-\boldsymbol{J}^{-1}\left(\boldsymbol{x}^{(k)}\right) \boldsymbol{F}\left(\boldsymbol{x}^{(k)}\right)\\
教材介绍的方法（来自一篇研究生论文）：
记
A=\left(\begin{array}{llllll} 0 & 1 & 0 & \cdots & 0 & 0 \\ 0 & 0 & 1 & \cdots & 0 & 0 \\ \cdots & \cdots & & \cdots & \cdots & \\ 0 & 0 & 0 & \cdots & 0 & 1 \\ 0 & 0 & 0 & \cdots & 0 & 0 \end{array}\right)_{q \times q}, \quad C=\left(\begin{array}{l} 1 \\ 0 \\ \vdots \\ 0 \end{array}\right)_{q \times 1}\\
\Omega_{k}=\left(\begin{array}{cccc} \gamma_{1} & \gamma_{2} & \cdots & \gamma_{k} \\ \gamma_{2} & \gamma_{3} & \cdots & \gamma_{k+1} \\ \cdots & \cdots & \cdots & \cdots \\ \gamma_{q} & \gamma_{q+1} & \cdots & \gamma_{q+k-1} \end{array}\right), \quad \gamma_{q}=\left(\begin{array}{c} \gamma_{1} \\ \gamma_{2} \\ \vdots \\ \gamma_{q} \end{array}\right)\\
MA 序列的系数可由下面的公式计算得到
\mathbf{b}_{q}=\frac{1}{\sigma^{2}}\left(\gamma_{q}-A \Pi C\right), \quad \sigma^{2}=\gamma_{0}-C^{T} \Pi C\\
其中 \Pi=\lim _{k \rightarrow \infty} \Omega_{k} \Gamma_{k}^{-1} \Omega_{k}^{T}
例 考察模型 X_{t}=\varepsilon_{t}-0.36 \varepsilon_{t-1}+0.85 \varepsilon_{t-2}
首先计算两个特征根得到 1.084652 e^{\pm i 1.374297} ，然后计算自协方差函数
\[\begin{array}{l} {\gamma _0} = {\sigma ^2}\left( {1 + b_1^2 + b_2^2} \right) = 7.4084\\ {\gamma _1} = {\sigma ^2}\left( {{b_1} + {b_1}{b_2}} \right) = - 2.664\\ {\gamma _2} = {\sigma ^2}{b_2} = 3.4\\ {\gamma _k} = 0,\quad k > 2 \end{array}\\\]
现在我们从自协方差函数出发，求解 MA(2) 模型的系数。
利用公式
\left(\begin{array}{l} b_{1} \\ b_{2} \end{array}\right)=\frac{1}{\sigma^{2}}\left(\left(\begin{array}{l} \gamma_{1} \\ \gamma_{2} \end{array}\right)-A \Pi C\right) \quad \sigma^{2}=\gamma_{0}-C^{T} \Pi C\\
其中 \Pi=\lim _{k \rightarrow \infty} \Omega_{k} \Gamma_{k}^{-1} \Omega_{k}^{T} ，以下给出不同 k 值的程序运行结果
\begin{array}{|c|c|c|c|c|c|c|} \hline k & 6 & 12 & 20 & 30 & 40 & >=51 \\ \hline b_{1} & -0.3367 & -0.3527 & -0.3587 & -0.3597 & -0.3599 & -0.3600 \\ \hline b_{2} & 0.7515 & 0.8234 & 0.8421 & 0.8487 & 0.8497 & 0.8500 \\ \hline \sigma^{2} & 4.5243 & 4.1292 & 4.0374 & 4.0062 & 4.0014 & 4.0002 \\ \hline \end{array}\\
（4）MA(1) 序列讨论
考察可逆的 MA(1) 模型
X_{t}=\varepsilon_{t}+b \varepsilon_{t-1}, \quad \varepsilon_{t} \sim \mathrm{WN}\left(0, \sigma^{2}\right), \quad|b|<1\\
自协方差和自相关系数如下
\left\{\begin{array}{l} \gamma_{0}=\sigma^{2}\left(1+b^{2}\right) \\ \gamma_{1}=\sigma^{2} b \\ \gamma_{k}=0, \quad k \geq 2 \end{array} \quad\left\{\begin{array}{l} \rho_{1}=\frac{b}{1+b^{2}} \\ \rho_{k}=0, \quad k \geq 2 \end{array}\right.\right.\\
谱密度为
\begin{aligned} f(\lambda) &=\frac{\sigma^{2}}{2 \pi}\left|1+b e^{i \lambda}\right|^{2} \\ &=\frac{\sigma^{2}}{2 \pi}\left(1+b^{2}+2 b \cos \lambda\right), \lambda \in[-\pi, \pi] \end{aligned}\\
下面利用 Y-W 方程求解偏相关系数
\[\left( {\begin{array}{*{20}{c}} {1 + {b^2}}&{ - b}&0& \cdots &0\\ { - b}&{1 + {b^2}}&{ - b}& \cdots &0\\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 0&0&{ - b}&{1 + {b^2}}&{ - b}\\ 0&0&0&{ - b}&{1 + {b^2}} \end{array}} \right)\left( {\begin{array}{*{20}{c}} {{a_{n1}}}\\ {{a_{n2}}}\\ \vdots \\ {{a_{n,n - 1}}}\\ {{a_{nn}}} \end{array}} \right) = \left( {\begin{array}{*{20}{c}} { - b}\\ 0\\ \vdots \\ 0\\ 0 \end{array}} \right)\\\]
利用克莱姆法则求解，记左边系数行列式为 \Delta_n ，则由递推式
\begin{array}{l} \Delta_{1}=1+b^{2} \\ \Delta_{2}=\left|\begin{array}{cc} 1+b^{2} & -b \\ -b & 1+b^{2} \end{array}\right|=1+b^{2}+b^{4} \\ \Delta_{n}=\left(1+b^{2}\right) \Delta_{n=1}-b^{2} \Delta_{n-2}, \quad n \geq 3 \end{array}\\
求解这个差分方程可得
\Delta_{n}=\frac{1-b^{2 n+2}}{1-b^{2}}, \quad n \geq 1\\
继而用克莱姆法则解得偏相关系数为
a_{n n}=\frac{(-1)^{n-1}(-b)^{n}}{\Delta_{n}}=(-1)^{n+1} b^{n}\left(1-b^{2}\right)\left(1-b^{2 n+2}\right)^{-1}, \quad n \geq 1\\
