Le modèle de Markov simple

 

Voici la représentation d'un modèle de Markov simple avec 2 états :

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Le diagramme de Markov simple

 

          On note la présence d'un état "Début" qui sert à présenter les probabilités de commencer dans chacun des états du modèle : ici on a 40% de chances (0.4) de commencer dans l'état 1 et 60% de chances (0.6) de commencer dans l'état 2. Par définition, on ne revient jamais à l'état de départ, raison pour laquelle il n'y a jamais de transition vers cet état.
          On remarque également que la somme des probabilités des transitions partant d'un état est toujours égale à 1 (100%).
Par exemple, pour l'état 1 : 0.7 + 0.3 = 1
          Cette propriété doit toujours être vraie ! En effet si la somme n'était pas égale à 1, cela signifierait qu'il existe une chance de ne pas opérer de transition, ce qui est impossible dans un modèle de Markov.

          L'utilisation du modèle se fait en rapport avec le temps. A chaque "unité de temps", on opère une transition, ce qui génère finalement une séquence d'états :