Distribution limite

On constate souvent (par exemple à l'exercice 2 de la page précédente) que la distribution p(t) converge vers une distribution limite p si t . Si tel est le cas, on dit que cette dernière définit un régime permanent du processus stochastique. Le régime permanent n'est pas influencé par le choix de la distribution initiale.

Existence d'une distribution limite

Propriété 3

Si la matrice de transition P est telle qu'une au moins de ses puissances n'a que des termes strictement positifs, alors p(t) p quelle que soit la distribution initiale p(0) et Pt P* lorsque t . p est un vecteur de probabilité strictement positif et P* une matrice dont toutes les lignes sont identiques au vecteur limite p. En plus, pP*=p.

La démonstration de cette condition d'existence dépasse le cadre de ce cours.

Exercices

Exercice 1

Soit la matrice stochastique P = .

Montrez que la chaîne de Markov définie par P converge et calculez la distribution limite.

Exercice 2

Soit la matrice stochastique P = .

Montrez que la chaîne de Markov définie par P converge et calculez la distribution limite.

Exercice 3

Un service de météo a constaté après de longues années que le temps qu'il fera demain dépend essentiellement du temps qu'il faisait hier et du temps qu'il fait aujourd'hui. Les probabilités de transition ont été établies ainsi:

Hier Aujourd'hui
Demain
Beau Mauvais
Beau Beau
0.8
0.2
Beau Mauvais
0.4
0.6
Mauvais Beau
0.6
0.4
Mauvais Mauvais
0.1
0.9
  1. Modélisez ce processus à l'aide d'une chaîne de Markov.
  2. Calculez le nombre moyen de jours de beau temps par année.

Exercice 4

Un ivrogne se déplace dans les quatre bistrots du village (voir plan ci-dessous) d'une manière bien personnelle: en sortant d'un bistrot, il lance une pièce de monnaie pour savoir dans lequel des deux autres bistrots les plus proches il entrera.

  1. Modélisez ce processus à l'aide d'une chaîne de Markov.
  2. Montrez que cette chaîne de Markov n'a pas de distribution limite.

Les corrigés sont disponibles, mais seulement pour les visiteurs autorisés!
Mot de passe :

Didier Müller, 23.4.03