Markov链转移概率极限情况的一般推广刁天博李满

2022-04-05 09:41:16| 浏览次数：

摘要：在Markov链和转移矩阵等定义的基础上，利用代数学知识，对转移概率极限情况进行研究，给出了Markov链转移概率极限情况一般性的推广处理方法。

关键词：Markov链；转移矩阵；对角矩阵

定义1：随机过程{Xn，n=0，1，2，…}称为Markov链，若它只取有限或可列个值，并且对任意的n≥0及任意状态i，j，i0，i1，…，in-1，有

P{Xn+1=jXn=i，Xn-1=in-1，…X1=i1，X0=i0}=P{Xn+1=jXn=i}（1）

其中Xn=i表示过程在时刻n处于状态i，称{0，1，2，…}为该过程的状态空间，记为S。

定义2：称式（1）中的条件概率P{Xn+1=jXn=i}为Markov链的一步转移概率，简称转移概率，记为pij，它代表处于状态i的过程下一步转移到状态j的概率。一般情况下，转移概率与状态i，j和时刻n有关。当Markov链的转移概率pij=P{Xn+1=jXn=i}只与状态i，j有关，而与n无关时，称为时齐Markov链；否则，就称为非时齐Markov链。本文中涉及的Markov链均为时齐的。

定义3：称矩阵P=（pij）=p00p01p02…p10p11p12…pi0pi1pi2…为Markov链的转移概率矩阵，一般简称为转移矩阵。由于概率是非负的，且过程必须转移到某种状态，故pij有如下性质：①pij≥0，（i，j∈S），②∑j∈Spij=1，i∈S。

定义4：称条件概率

pij（n）=P＼{Xm+n=jXm=i＼}，（i，j∈S，m≥0，n≥1）（2）

为Markov链的n步转移概率，相应地称P（n）=（pij（n））为n步转移概率矩阵。显然，n步转移概率pij（n）指的就是系统从状态i经过n步后转移到状态j的概率，它对中间的n-1步转移经过的状态无要求。

接下来，我们将对Markov链转移概率极限情况给出一般性的推广处理方法。

设Markov链的转移矩阵为P，现在考虑n步转移概率矩阵P（n）当n→∞的情况。由Chapman-Kolmogorov方程，可知P（n）=P·P（n-1）=

P·P·P（n-2）=…=Pn，故只需计算转移矩阵P的n重乘积的极限。利用代数学的知识，若转移矩阵P能够表示为P=QDQ-1，其中D为对角矩阵，则Pn=（QDQ-1）n=QDnQ-1，而Dn是主对角元素的n次方，Q和Q-1又是容易求出的。故Markov链转移概率极限情况转化为判断一个矩阵是否与一个对角矩阵相似的问题，也就是矩阵特征值和特征向量的计算问题。

最后，我们通过一个例子对上述过程做详细说明。

例：设Markov链的转移矩阵为P=1-ppq1-q，0

令Q=1-p1q，D=1001-p-q，计算出Q-1=qp+qpp+q-1p+q1p+q，则

P=QDQ-1，Pn=（QDQ-1）n=QDnQ-1=q+p（1-p-q）np+qp-p（1-p-q）np+qq-q（1-p-q）np+qp+q（1-p-q）np+q，

由于1-p-q<1，故limn→∞Pn=qp+qpp+qqp+qpp+q，可见此Markov链的n步转移概率有一个稳定的极限。

综上所述，结合代数学的知识，我们得到了Markov链转移概率极限情况的一般处理方法。此方法思路明确，计算较为简洁，也可以由专门的数学软件去完成。（作者单位：南阳理工学院数学与统计学院）

2015年南阳理工学院青年基金项目《Markov模型在无线传感器网络可靠性分析中的研究》，项目批准编号：ngky-2015-005；2015年南阳理工学院青年基金项目《非线性复杂网络的群同步研究》，项目批准编号：ngky-2015-006

参考文献：

[1]江志红，常奋华，丁裕国.基于马尔科夫链转移概率极限分布的降水过程持续性研究[J].气象学报，2013，71（2）：286-294.

[2]张波，商豪.应用随机过程[M].北京：中国人民大学出版社，2014.

[3]康继田.长江水质评价及预测的Markov链模型[J].湖北工业大学学报，2006，21（6）：101-104.

[4]郑培，黎建强.基于模糊评估和马尔可夫预测的供应链动态平衡记分卡[J].系统工程理论与实践，2008，4：57-64.