马尔可夫链(Markov Chain, MC)是
概率论和
数理统计中具有
马尔可夫性质(Markov property)且存在于离散的指数集(index set)和
状态空间(state space)内的
随机过程(stochastic process)。适用于连续指数集的马尔可夫链被称为
马尔可夫过程(Markov process),但有时也被视为马尔可夫链的子集,即
连续时间马尔可夫链(Continuous-Time MC, CTMC),与离散时间马尔可夫链(Discrete-Time MC, DTMC)相对应,因此马尔可夫链是一个较为宽泛的概念。
马尔可夫链可通过转移矩阵和转移图定义,除马尔可夫性外,马尔可夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔可夫链是严格平稳的马尔可夫链,拥有唯一的平稳分布。遍历马尔可夫链(ergodic MC)的极限分布收敛于其平稳分布。
马尔可夫链可被应用于
蒙特卡罗方法中,形成马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC),也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。此外作为结构最简单的
马尔可夫模型(Markov model),一些
机器学习算法,例如
隐马尔可夫模型(Hidden Markov Model, HMM)、
马尔可夫随机场(Markov Random Field, MRF)和
马尔可夫决策过程(Markov decision process, MDP)以马尔可夫链为理论基础。
马尔可夫链的命名来自俄国数学家
安德雷·马尔可夫(Андрей Андреевич Марков)以纪念其首次提出马尔可夫链和对其收敛性质所做的研究。
马尔可夫链(Markov Chain, MC)是<a href="./?mention=概率论">概率论</a>和<a href="./?mention=数理统计">数理统计</a>中具有<a href="./?mention=马尔可夫性质">马尔可夫性质</a>(Markov property)且存在于离散的指数集(index set)和<a href="./?mention=状态空间">状态空间</a>(state space)内的<a href="./?mention=随机过程">随机过程</a>(stochastic process)。适用于连续指数集的马尔可夫链被称为<a href="./?mention=马尔可夫过程">马尔可夫过程</a>(Markov process),但有时也被视为马尔可夫链的子集,即<a href="./?mention=连续时间马尔可夫链">连续时间马尔可夫链</a>(Continuous-Time MC, CTMC),与离散时间马尔可夫链(Discrete-Time MC, DTMC)相对应,因此马尔可夫链是一个较为宽泛的概念。<br/>马尔可夫链可通过转移矩阵和转移图定义,除马尔可夫性外,马尔可夫链可能具有不可约性、常返性、周期性和遍历性。一个不可约和正常返的马尔可夫链是严格平稳的马尔可夫链,拥有唯一的平稳分布。遍历马尔可夫链(ergodic MC)的极限分布收敛于其平稳分布。<br/>马尔可夫链可被应用于<a href="./?mention=蒙特卡罗方法">蒙特卡罗方法</a>中,形成马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC),也被用于动力系统、化学反应、排队论、市场行为和信息检索的数学建模。此外作为结构最简单的<a href="./?mention=马尔可夫模型">马尔可夫模型</a>(Markov model),一些<a href="./?mention=机器学习">机器学习</a>算法,例如<a href="./?mention=隐马尔可夫模型">隐马尔可夫模型</a>(Hidden Markov Model, HMM)、<a href="./?mention=马尔可夫随机场">马尔可夫随机场</a>(Markov Random Field, MRF)和<a href="./?mention=马尔可夫决策过程">马尔可夫决策过程</a>(Markov decision process, MDP)以马尔可夫链为理论基础。<br/>马尔可夫链的命名来自俄国数学家<a href="./?mention=安德雷·马尔可夫">安德雷·马尔可夫</a>(Андрей Андреевич Марков)以纪念其首次提出马尔可夫链和对其收敛性质所做的研究。