Calculateur d'état stationnaire de chaîne de Markov

Bienvenue sur le Calculateur d'état stationnaire de chaîne de Markov, un outil mathématique puissant pour calculer la distribution stationnaire à long terme de toute chaîne de Markov finie. Entrez votre matrice de transition et visualisez instantanément les probabilités d'état stationnaire, un diagramme de transition d'état interactif, une visualisation de la convergence et une solution détaillée étape par étape. Idéal pour les étudiants, les chercheurs et les professionnels travaillant avec des processus stochastiques.

Qu'est-ce qu'une distribution d'état stationnaire ?

Une distribution d'état stationnaire (également appelée distribution stationnaire) d'une chaîne de Markov est un vecteur de probabilité \(\pi\) tel que :

Cela signifie que si le système commence avec la distribution \(\pi\), il reste dans \(\pi\) après n'importe quel nombre de transitions. Intuitivement, \(\pi_i\) représente la proportion à long terme du temps que le système passe dans l'état \(i\).

Concepts clés

Comment résoudre pour l'état stationnaire

Le vecteur d'état stationnaire \(\pi\) peut être trouvé en résolvant le système d'équations linéaires dérivé de \(\pi P = \pi\) :

1. Réécrire l'équation : \(\pi P = \pi\) devient \(\pi(P - I) = 0\), ou de manière équivalente \((P^T - I)\pi^T = 0\).
2. Ajouter la normalisation : Remplacer une équation redondante par \(\pi_1 + \pi_2 + \cdots + \pi_n = 1\).
3. Résoudre le système : Utiliser l'élimination de Gauss ou des méthodes matricielles pour trouver \(\pi\).

Pour les chaînes ergodiques, la multiplication répétée converge vers l'unique état stationnaire indépendamment de la distribution de départ.

Comment utiliser ce calculateur

1. Entrez la matrice de transition : Saisissez votre matrice avec chaque ligne sur une nouvelle ligne. Les valeurs peuvent être séparées par des virgules ou des espaces. Chaque ligne doit totaliser 1.
2. Ajoutez des étiquettes d'état (facultatif) : Fournissez des noms descriptifs pour vos états (ex: Ensoleillé, Pluvieux) séparés par des virgules.
3. Réglez la précision décimale : Choisissez le nombre de décimales (2-15) pour les résultats.
4. Calculez : Cliquez sur "Calculer l'état stationnaire" pour voir l'analyse complète incluant la distribution stationnaire, le graphique de convergence, le diagramme d'état et la solution étape par étape.

Comprendre vos résultats

Vecteur d'état stationnaire

Le résultat principal est le vecteur \(\pi = (\pi_1, \pi_2, \ldots, \pi_n)\), où chaque \(\pi_i\) représente la probabilité à long terme d'être dans l'état \(i\). L'état ayant la probabilité la plus élevée est l'état dominant.

Graphique de convergence

Ceci montre comment la distribution de probabilité évolue d'un départ uniforme à travers des multiplications successives par P. Une convergence plus rapide indique une chaîne à mélange plus fort.

Diagramme de transition d'état

Une représentation visuelle interactive où :

• La taille du nœud reflète la probabilité d'état stationnaire
• L'épaisseur de l'arête représente la probabilité de transition
• Les flèches courbes montrent la direction des transitions
• Les boucles sur soi indiquent la probabilité de rester dans le même état

Applications dans le monde réel

Quand existe-t-il un état stationnaire unique ?

Une chaîne de Markov finie a une distribution stationnaire unique lorsqu'elle est irréductible, et toute distribution initiale converge vers elle si la chaîne est en plus apériodique. Une chaîne possédant ces deux propriétés est dite ergodique :

• Irréductible : Chaque état peut être atteint depuis n'importe quel autre état (pas de composants déconnectés)
• Apériodique : Le PGCD de toutes les longueurs de cycle passant par n'importe quel état est 1 (pas de périodicité fixe)

Une chaîne périodique mais irréductible a quand même exactement un état stationnaire ; ses puissances Pᵏ oscillent simplement au lieu de converger. Une chaîne réductible n'a un état stationnaire unique que si elle possède une seule classe fermée (plus d'éventuels états transitoires) ; avec deux classes fermées ou plus, il existe une infinité de distributions stationnaires.

Foire aux questions

Qu'est-ce qu'une distribution d'état stationnaire d'une chaîne de Markov ?

Une distribution d'état stationnaire (ou stationnaire) est un vecteur de probabilité π tel que πP = π, où P est la matrice de transition. Elle représente la proportion de temps à long terme que le système passe dans chaque état, quel que soit l'état initial. Pour une chaîne de Markov irréductible et apériodique, la distribution stationnaire est unique.

Comment calculer les probabilités d'état stationnaire ?

Pour trouver le vecteur d'état stationnaire π, résolvez le système πP = π sous la contrainte que toutes les probabilités s'additionnent à 1 (Σπᵢ = 1). Cela équivaut à résoudre (Pᵀ - I)π = 0 avec la contrainte de normalisation. Vous pouvez également utiliser l'itération de puissance : multiplier de manière répétée une distribution initiale par P jusqu'à convergence.

Quand une chaîne de Markov possède-t-elle une distribution d'état stationnaire unique ?

Une chaîne de Markov finie a une distribution stationnaire unique lorsqu'elle possède exactement une classe communicante fermée — en particulier dès qu'elle est irréductible (chaque état peut être atteint depuis n'importe quel autre). L'apériodicité n'est pas nécessaire à l'unicité : la chaîne périodique [[0, 1], [1, 0]] a l'état stationnaire unique (½, ½). Ce qu'apporte l'apériodicité, c'est la convergence : une chaîne irréductible et apériodique (ergodique) s'approche de cette distribution quel que soit le point de départ.

Qu'est-ce que le temps de retour moyen dans une chaîne de Markov ?

Le temps de retour moyen pour l'état i est le nombre attendu d'étapes pour revenir à l'état i en partant de l'état i. Pour une chaîne de Markov ergodique, le temps de retour moyen est égal à 1/πᵢ, où πᵢ est la probabilité d'état stationnaire de l'état i. Les états ayant une probabilité stationnaire plus élevée ont des temps de retour moyens plus courts.

Quelle est la différence entre une matrice de transition et un vecteur d'état stationnaire ?

Une matrice de transition P est une matrice n×n où P(i,j) donne la probabilité de passer de l'état i à l'état j en une étape. Chaque ligne totalise 1. Le vecteur d'état stationnaire π est un vecteur de probabilité 1×n représentant la distribution à long terme entre les états. Alors que P décrit la dynamique à étape unique, π décrit le comportement à l'équilibre.