Introduction aux chaînes de Markov

Généralement, un processus stochastique est une suite d'expériences dont le résultat dépend du hasard. Ici, nous admettrons qu'en certains temps 0, 1, 2, ..., t, nous observons un système. Celui-ci peut se trouver dans l'un des états d'une collection finie d'états possibles. L'observation du système est ainsi considérée comme une expérience dont le résultat (aléatoire) est l'état dans lequel se trouve le système.

Nous supposons que nous connaissons pour chaque paire d'états i et j, et pour chaque instant t, la probabilité p_ij(t) que le processus soit dans l'état j à l'instant t+1 étant donné qu'il se trouve dans l'état i à l'instant t. De plus, la probabilité p_ij(t) sera supposée ne pas dépendre de t.

Un tel processus est appelé chaîne de Markov (à temps discret et avec un ensemble fini d'états), du nom de son inventeur Andrei Andreyevich Markov (1856-1922), dont vous voyez le visage ci-contre.

Avec ces hypothèses, nous pouvons décrire le système en donnant l'ensemble {u₁, ..., u_m} des états u_i possibles et une matrice P de dimensions mxm dont le terme p_ij est la probabilité que le processus soit dans l'état j à l'instant t+1 étant donné qu'il se trouve dans l'état i à l'instant t, pour tout t. P est appelée matrice de transition du système.

On représente généralement P par un graphe orienté G dont les sommets correspondent aux m états et les arcs aux couples ordonnés d'états (i,j) tels que p_ij>0.

Exemple

1. la molécule est dans le sol,
2. la molécule est dans l'herbe,
3. la molécule a été absorbée par du bétail,
4. la molécule est sortie de l'écosystème.

Remarquez que la somme de chaque ligne vaut 1. Cette matrice correspond au graphe ci-dessous:

Propriété 1 La probabilité pij(t) que le système soit dans l'état j au temps t sachant qu'il était dans l'état i au temps 0 est donné par (Pt)i,j (le terme i,j de la t-ième puissance de P).

Si on ne connaît pas l'état initial, on peut donner un vecteur de probabilité p⁽⁰⁾ = (p₁⁽⁰⁾, ..., p_m⁽⁰⁾) où p_i⁽⁰⁾ est la probabilité que le système se trouve dans l'état i au temps 0. Si p^(t) est le vecteur donnant les probabilités d'occupation des états au temps t (autrement dit la distribution), nous avons:

Propriété 2 p(t) = p(0) Pt

Exercices

Exercice 1

Écrivez dans Mathematica un programme qui simule une chaîne de Markov donnée par sa matrice de transition. Comme résultat, on veut la liste des états successifs du processus et le pourcentage de fois où le processus a été dans chacun des états.

Utilisez votre programme de l'exercice 1 pour simuler la chaîne de Markov donnée en exemple.
Partant du vecteur initial p⁽⁰⁾=(1, 0 , 0 , 0), déterminez p⁽¹⁰⁾, p⁽¹⁰⁰⁾ et p⁽¹⁰⁰⁰⁾ par calcul, puis par simulation en utilisant votre programme. Vous calculerez P^t avec Mathematica.

Exercice 3

Un individu vit dans un milieu où il est susceptible d'attraper une maladie par piqûre d'insecte. Il peut être dans l'un des trois états suivants: immunisé (I), malade (M), non malade et non immunisé (S). D'un mois à l'autre, son état peut changer selon les règles suivantes:

• étant immunisé, il peut le rester avec une probabilité 0.9 ou passer à l'état S avec une probabilié 0.1;
• étant dans l'état S, il peut le rester avec une probabilité 0.5 ou passer à l'état M avec une probabilité 0.5;
• étant malade, il peut le rester avec une probabilité 0.2 ou passer à l'état I avec une probabilité 0.8.

• au départ, il est immunisé (I);
• au départ, il est non malade et non immunisé (S);
• au départ, il est malade (M).

Références

• Chaîne de Markov - Ce programme permet de simuler une chaîne de Markov avec un nombre arbitraire d'états.
• Analyse d'une chaîne de Markov à temps discret

Didier Müller, 22.4.03