Le rane di Markov

[Gianfranco]

Cari amici, chiedo scusa per il problema un po' "scolastico" ma in questo periodo sto cercando di capire le catene di Markov.
Non so neanche se ho posto le domande in modo corretto. Segnalatemi tutti i difetti del testo ed eventualmente anche i miglioramenti possibili per renderlo più chiaro.
---
Nel giardino di Markov c'è un laghetto e nel laghetto c'è una pianta di Ninfea con tre grandi foglie, indicate con A, B, C.
Una rana salta felice da una foglia all'altra.
Nella figura qui sotto vedete il diagramma delle transizioni di stato della rana.

Per esempio, se la rana è sulla foglia B allora:
* salterà su C con probabilità 1/2;
* salterà sulla stessa B con probabilità 3/8;
* salterà su A con probabilità 1/8.
Purtroppo, sulla foglia A c'è una biscia nascosta che si mangia sicuramente la rana, quando questa arriva su A.

Markov_Rane.png (32.75 KiB) Visto 30714 volte

Domande.
1. Se la rana all'inizio si trova sulla foglia B, qual è la probabilità che sia ancora viva dopo 3 salti?
2. E dopo 10 salti?
3. Queste probabilità cambiano se la rana si trova inizialmente sulla foglia C?
4. Indipendentemente dallo stato iniziale della rana, qual è la probabilità che prima o poi sia mangiata dalla biscia?

[panurgo]

Gli stati $\mathbf{B}$ e $\mathbf{C}$ sono equivalenti per simmetria quindi il processo può essere rappresentato con due soli stati

RaneDiMarkov.01.png (16.76 KiB) Visto 30699 volte

e le risposte sono molto facili; l'ultima in particolare dipende solo dal fatto che $\mathbf{A}$ è l'unico stato assorbente quindi $1$.

[Gianfranco]

Gli stati $\mathbf{B}$ e $\mathbf{C}$ sono equivalenti per simmetria quindi il processo può essere rappresentato con due soli stati

Grazie Panurgo, sempre utili e illuminanti i tuoi interventi!
Presto posterò le risposte "facili" e una variante non simmetrica.

[Gianfranco]

Sempre ringraziando Panurgo, ecco la mia soluzione -breve-.
Mi faccio aiutare ldalla mia assistente: wxMaxima.

1) Scrivo la matrice di transizione con i vettori di probabilità in riga e la chiamo A.
A: matrix(
[1,0,0],
[1/8,3/8,1/2],
[1/8,1/2,3/8]
);

2) Ogni riga della matrice rappresenta la distribuzione di probabilità per uno stato del sistema.
Per valutare le distribuzione di probabilità dopo 3 salti, elevo la matrice alla 3.
A^^3;
ottenendo:
$ \large \begin{pmatrix}1 & 0 & 0\\
\frac{169}{512} & \frac{171}{512} & \frac{43}{128}\\
\frac{169}{512} & \frac{43}{128} & \frac{171}{512}\end{pmatrix}$
Se la rana all'inizio si trova sulla foglia B, leggo la seconda riga della matrice e deduco che la sua probabilità di essere ancora viva è:
1-169/512 = 343/512

3) Stessa procedura dopo 10 salti.
A^^10;
ottenendo:
$ \large \begin{pmatrix}1.0 & 0.0 & 0.0\\
0.737 & 0.132 & 0.132\\
0.737 & 0.132 & 0.132\end{pmatrix}$
La probabilità di essere viva dopo 10 salti è:
1-0.737 = 0.263

4) Per stimare cosa succederà "alla lunga" si può elevare la matrice a un esponente molto alto, per esempio:
A^^50;
ottenendo:
$\large \begin{pmatrix}1.0 & 0.0 & 0.0\\
0.999 & 6.3 {{10}^{-4}} & 6.3 {{10}^{-4}}\\
0.999 & 6.3 {{10}^{-4}} & 6.3 {{10}^{-4}}\end{pmatrix}$
da cui si intuisce che il destino della rana è di finire mangiata dalla biscia.

5) Per ottenere la soluzione esatta è meglio risolvere il sistema:
--> linsolve([
x=1*x+1/8*y+1/8*z,
y=0*x+3/8*y+1/2*z,
z=0*x+1/2*y+3/8*z,
x+y+z=1],
[x,y,z]);
Da cui si ottiene:
[x=1,y=0,z=0]
--------------------------------------
Data la simmetria della situazione, come dice Panurgo, il sistema si può rappresentare con una matrice di due righe:
A: matrix(
[1,0],
[1/8,7/8]
);
Che conduce agli stessi risultati.
A^^3;
$\large \begin{pmatrix}1 & 0\\
\frac{169}{512} & \frac{343}{512}\end{pmatrix}$

A^^10;
$\large \begin{pmatrix}1.0 & 0.0\\
0.737 & 0.263\end{pmatrix}$

A^^50;
$\large \begin{pmatrix}1.0 & 0.0\\
0.999 & 0.00126\end{pmatrix}$

[Admin]

Ciao GIanfranco,
un piacere rileggerti.

Volevo chiederti che libro stai usando, se ne stai usando uno per lo studio delle catene di Markov.
In passato avevo capito come utilizzarle proprio grazie al forum ed ai lunghi ed esaustivi topic del buon Panurgo,
però studiarle è un'altra cosa.

Grazie.

Saluti
Admin

[Gianfranco]

Volevo chiederti che libro stai usando, se ne stai usando uno per lo studio delle catene di Markov.

Ciao Pietro,
anch'io sto imparando molto da Panurgo come pure da tutti gli interventi sul Forum.
Parlando di libri, direi che il mio punto di partenza è il volume "Calcolo delle probabilità" della collana SCHAUM, che ha un capitolo sulle catene di Markov. E' uno dei ricordi dell'Università.
Altri testi più recenti che mi sono molto utili sono i seguenti:
Anders Tolver, An introduction to Markov chains (https://noter.math.ku.dk/stoknoter.pdf#SnippetTab)
J. R. Norris, Markov chains (https://archive.org/details/markovchains0000norr)
Olivier Leveque, Lecture notes on Markov chains (https://ipgold.epfl.ch/~leveque/Lecture ... markov.pdf)
J. Chang, Markov Chains (https://isn.ucsd.edu/courses/beng260/co ... g_1999.pdf)