概率论中，马尔可夫链是一种描述随机过程的数学模型，它的独特之处在于，未来的状态仅仅取决于当前状态，与过去的状态无关。这种性质被称作“无后效性”。在现实生活中，许多现象都可以用马尔可夫链来描述，比如天气变化、股票价格的波动等。

马尔可夫链可以用来计算许多类型的概率，其中最常见的包括：

1. 状态转移概率：这是指在马尔可夫链中，当前处于状态i的概率转移到状态j的概率。例如，在描述一年中每个月的平均气温时，状态i可以表示一月，状态j可以表示二月，状态转移概率就是一月平均气温转移到二月平均气温的概率。

2. 稳态分布：在长期运行下，马尔可夫链会达到一个稳态，即各个状态的概率不再随时间变化。稳态分布可以告诉我们系统长期处于哪些状态。例如，在描述一种产品的市场占有率时，稳态分布可以告诉我们这种产品在市场上的长期竞争力。

3. 首次到达时间：这是指在马尔可夫链中，从当前状态转移到另一个状态的时间。例如，在描述一个病人从健康状态转移到疾病状态的时间。

4. 最优策略：在某些情况下，马尔可夫链可以用来找到最优策略。例如，在赌博游戏中，我们可以用马尔可夫链来计算最优的赌博策略，以期望获得最大的收益。

总的来说，马尔可夫链是一种强大的工具，可以帮助我们理解和预测随机过程。无论是在科学研究还是日常生活中，马尔可夫链的应用都非常广泛。