Chaîne absorbante

Un état absorbant est un état que l'on ne quitte plus lorsqu'on y pénètre. Autrement dit, l'état j est absorbant si p_jj=1.
Une chaîne de Markov est absorbante si et seulement si:

1. il y a au moins un état absorbant
2. de tout état non absorbant, on peut atteindre un état absorbant.

Par exemple, l'état 4 du premier exemple de ce chapitre est un état absorbant. Comme on peut atteindre cet état depuis tous les autres, la chaîne de Markov est absorbante.

Propriété 4 Pour toute chaîne de Markov absorbante et pour tout état de départ, la probabilité de se trouver dans un état absorbant au temps t tend vers 1 lorsque t tend vers l'infini.

Délais d'absorption et probabilité d'absorption

Lorsque l'on a affaire à une chaîne de Markov absorbante, on est généralement intéressé par les deux questions suivantes:

• Combien de temps faudra-t-il en moyenne pour arriver dans un état absorbant, étant donné son état initial?
• S'il existe plusieurs états absorbants, quelle est la probabilité de tomber dans un état absorbant donné?

Forme canonique de P

I est une matrice unité et 0 une matrice de 0.

Dans l'exemple du phospore vu précédemment, nous avons (les numéros des états sont en rouge):

La matrice N = (I-Q)^-1 est appelée la matrice fondamentale de la chaîne absorbante.

Propriété 5 Le nombre moyen eij de passages à l'état j (non absorbant) avant l'absorption quand on part de l'état i (non absorbant) est donnée par eij= (N)ij. Le nombre moyen d'étapes avant absorption sachant que l'on part de l'état i (non absorbant) est la somme des termes de la i-ème ligne de N.

Toujours dans l'exemple du phosphore, on a:

Q = , I-Q = , d'où N = (I-Q)^-1 =

D'où le nombre moyen d'étapes avant absorption en partant de l'état 1: (320 + 160 + 100) / 37 = 15.67

Propriété 6 Dans une chaîne de Markov absorbante avec P mise sous forme canonique, le terme bij de la matrice B = N·R est la probabilité d'absorption par l'état absorbant j sachant que l'on part de l'état i.

Dans l'exemple du phosphore, on a:

R = d'où B = N·R = · =

La probabilité d'être absorbé par l'unique état absorbant est 1 quel que soit l'état initial!

Exercices

Exercice 1

Considérons un joueur qui possède 2 francs initialement. À chaque étape du jeu il peut gagner 1 franc avec probabilité p ou perdre 1 franc avec probabilité 1-p. Il s'arrête lorsqu'il a gagné 4 francs ou lorsqu'il a tout perdu.

1. Représentez cette expérience par une chaîne de Markov.
2. Avec p = 1/3, calculez la probabilité de la ruine du joueur.
3. Avec p = 1/3, calculez la longueur moyenne d'une partie.

Exercice 2

Monsieur X se rend au Salon du Livre de Rigoleville dans l'espoir de trouver enfin un exemplaire du livre de Stendhal Le Rose et le Vert. Le Salon compte cinq stands et les organisateurs se sont amusés aux cours des années précédentes à construire la matrice des probabilités de transition des visteurs d'un stand à un autre:

Sachant que seuls les stands 4 et 5 disposent du livre recherché et que Monsieur X commence par visiter le stand 1, quelle est la probabilité qu'il achète son livre au stand 4 plutôt qu'au stand 5 (Monsieur X achètera le premier exemplaire qu'il trouvera)?

Exercice 3

Considérons une série de jets d'une pièce de monnaie normale. On notera P pour pile et F pour face.

1. Quelle est la probabilité d'obtenir une séquence PFP avant une séquence PPP?
2. Quel est le nombre de jets nécessaires en moyenne pour réaliser l'une des deux séquences PFP et PPP?

Exercice 4: la parade nuptiale des bourdons

Cet exercice est tiré du livre donné en référence. On s'y reportera pour avoir tous les détails de l'expérience. On ne présente ici que le minimum nécessaire à l'exercice.

Observation d'une séance d'accouplement

• Départ (D): mise en contact des bourdons mâle et des reines.
• Approche (App): un mâle se dirige vers la reine. Il s'approche à courte distance. Il est le comportement le plus fréquent et souvent suivi d'une récidive.
• Inspection de la femelle (IF): le mâle suit la reine avec ses antennes tendues vers elle. Il inspecte souvent la reine au niveau de la tête (région où se trouvent les glandes produisant les phéromones sexuelles), mais parfois au niveau de l'abdomen.
• Tentative d'accouplement (T): le mâle s'approche de la reine, il s'accroche à elle. Il frotte de ses pattes antérieures l'extrémité de l'abdomen de la femelle. Il sort ses génitalias (appareil reproducteur) et tente de pénétrer la reine.
• Accouplement (Acc): lors de l'accouplement, le comportement du mâle se caractérise par des mouvements de battements des pattes sur l'extrémité de l'abdomen de la reine.
• Sortie par abandon du mâle (SA): lors de la séquence de 15 minutes, le bourdon mâle peut adopter un comportement indifférent vis-à-vis de la reine; il sort de la parade nuptiale et n'y revient jamais.
• Sortie pour dépassement du temps (ST): l'observation est limitée à 15 minutes. Après cette durée, la probabilité d'accouplement peut être considérée comme presque nulle.

Approche du mâle	Inspection de la reine par le mâle	Tentative d'accouplement	Accouplement

Résultats des observations

Travail

1. Dessinez le graphe de transitions d'une parade nuptiale de bourdons.
2. Calculez les probabilités de transition d'un état à un autre et ajoutez-les au graphe.
3. Donnez la matrice correspondante de la chaîne de Markov.
4. Adaptez votre programme simulant une chaîne de Markov (voir exercice 1 sur l'introduction aux chaînes de Markov) à la situation présente. Utilisez ce programme pour simuler une parade nuptiale de bourdons.
5. Cette chaîne de Markov est une chaîne absorbante. Quel est le nombre moyen d'étapes avant absorption? Trouvez le résultat théoriquement et par simulation.

Référence: Mathématique & biologie. Une expérience pluridisciplinaire, Éditions De Boeck, Bruxelles, 2003, chapitre 7

Didier Müller, 29.9.03