misurando qua e là

[delfo52]

Immaginiamo di avere un sacchetto con i numeri della tombola, per comodità allargati fino a 100.
facciamo un certo numero di estrazioni (es.: 15)
Dai valori usciti, in un qualche modo, anche chi non sapesse che i numeri nel sacchetto sono da 1 a 100, potrebbe fare delle "stime" sul valore massimo raggiungibile.
Esistono formule accurate per fare tale stima, e soprattutto per valutarne l'accuratezza?
Il problema, con i numeri della tombola, non è particolarmente affascinante, ma facciamo l'ipotesi di una grandezza che "davvero" non conosciamo, e di un universo di cui non conosciamo la numerosità.
Mi spiego: quando sbarcheremo su Marte e incontreremo i primi esemplari di marziano, avremo l'opportunità di osservarli e misurarli senza sapere prima nè quanti essi siano nè quale scala di dimensioni abbiano.
Poniamo che i primi dieci esemplari risultino alti
8 - 11 - 7 - 14 - 11 - 17 - 21 - 8 - 18 - 7 unità di misure intergalattiche
a questo punto che cosa possiamo ipotizzare sulle dimensioni massime (e minime) degli abitanti del pianeta rosso ?
Quanto delle nostre inferenze è legato alla numerosità del campione, e quanto alla numerosità (ignota) dell'universo indagato? (per estremizzare, potrebbe darsi che i marziani siano in tutto dieci e che pertanto le mie misure siano in realtà esaustive)
Per immaginare uno scenario più "terra terra", possiamo fare l'ipotesi di un produttore di scarpe da donna, che voglia sapere quali taglie sia conveniente produrre. Per conoscere quante donne, potenziali acquirenti, portano il 36, o il 38 o il 41, quanti piedi di femmine "a caso" deve misurare per non rischiare di fare errori di programmazione? E quale margine deve riservare per l'ipotesi "peggiore" ,cioè di quanto potrà aver sbagliato, sempre in relazione alla numerosità del campione osservato e del numero totale delle donne ?

Un altro modo di affrontare il problema:
Dopo quante misure è ragionevole presumere che nessun ulteriore dato misurato si scosterà di oltre il 5 -10 - 20 % dal valore minimo o dal valore massimo della serie osservata ?

[mathmum]

Dipende molto da come sono distribuiti i dati. Se riusciamo a visualizzarne la parentela con una distribuzione nota (leggi gaussiana e parenti vari), allora siamo a posto. Altrimenti è un po' un disastro.
E' un po' come tentare di inserire nella statistica delle scarpe da donna la scarpetta di cristallo da principessa!!!! (machestoaddì!!!!)

ciao!

[Daniela]

Carissimo delfo la tua domanda e' molto interessante e riguarda un problema centrale in statistica, quello del campione e della distribuzione. Come giustamente osservi, in tutti i problemi che si presentano in pratica, noi misuriamo un campione, generalmente finito, che presenta certe caratteristiche, ad esempio di media, varianza, skewness, eccetera, insomma possiamo studiarlo se ci piace, ma in realta' questo e' "figlio" di una distribuzione (molto grande o magari infinita) ignota. Se siamo fortunati abbiamo tre o quattro distribuzioni campione. Vogliamo capire come e' fatta la distribuzione "ignota". Esistono eccome molti strumenti matematici per farsi un'idea. Se posso consigliare un libro, anzi un librone, leggi il Papoulis. Non sono abbastanza padrona dell'argomento per provare a spiegarlo in poche righe. Ciao, Daniela

[Admin]

Dunque,
sull'argomento ci ho fatto un esame (Misure Elettroniche);
dammi un pò di tempo, e ti invio le stime sul problema dei numeri della tombola;
quanto ai metodi utilizzati, potrei inviarti dei pdf riassuntivi che spiegano i vari metodi statistici.

Ciao
Admin

[Pasquale]

Da quanto ho capito, si tratta di individuare in quale modo deve essere scelto un campione per poterlo definire rappresentativo: è un problema che viene affrontato quotidianamente da tutte le società che, lavorando in campo statistico, effettuano vari sondaggi e previsioni.
Penso che innanzitutto debba essere nota la quantità totale degli elementi da esaminare e le sue varie caratteristiche: più elementi informativi si posseggono, maggiori sono le possibilità di individuare un campione rappresentativo e quindi affidabile, ma la verifica è possibile farla a posteriori e può essere utile per affinare il metodo.
Da un punto di vista matematico, ritengo che più grande sia il campione, specie se scelto casualmente, più sono affidabili le elaborazioni effettuate sullo stesso.
Non conosco una formula, anche se molti anni fa mi sono trovato a studiare statistica, ma penso che ogni problema richieda uno studio specifico.
Ad esempio, nel caso delle scarpe, secondo me ci si potrebbe affidare ai dati raccolti nel passato per effettuare una previsione, ma per alcuni particolari, bisogna tener conto dei fattori che potrebbero modificare o meno le precedenti abitudini, come ad esempio per il colore delle scarpe (pubblicità, comunicazioni sviluppate o meno, ricchezza della popolazione, ecc.).
Forse non è molto da facile, dal momento che le previsioni elettorali, per non andare tanto lontano, vengono sbagliate abbastanza frequentemente da gente che si dice esperta.

[delfo52]

grazie a tutti per gli spunti.
Credo, a lume di buon senso e per un poco di esperienza...di vita, che il problema della numerosità del campione sia deducibile "a priori" se conosciamo alcuni dati (popolazione generale; scostamento atteso,...)
Il difficile viene quando andiamo su Marte; quando cioè non conosciamo questi dati. Immagino che qualche informazione possa venire "in corso d'opera" dall'osservazione del trend dei risultati.
Per tornare ai risultati elettorali, se dall'esame dei dati campione (o dei dati preliminari, anche se non selezionati) si osserva un restringimento progressivo della "forchetta", è logico trarne deduzioni.
Certamente nulla sarebbe in ogni caso possibile fare in casi come quello delle ultime elezioni, in cui lo scarto è risultato minore di qualsiasi margine di errore.

[Admin]

Ciao Delfo,
purtroppo gli strumenti statistici da me utilizzati tempo fa per stimare "incertezze nelle misurazioni" non si applicano allo stesso modo coi problemi da te proposti;
in ogni caso, approfittando dell'aiuto di google, ho provato ad applicarli ai problemi sopra posti;
ne è nata una gran confusione;
da questa confusione sono riuscito ad estrapolare alcune stime;

eccole:
(non assicuro niente!)

premetto che una popolazione da cui provengono i campioni da analizzare, è caratterizzata da una funzione di "distribuzione di probabilità", che indica come si distribuiscono gli individui (i valori) nella popolazione.
In relazione al problema dei Marziani, la popolazione è costituita dalle altezze di tutti i Marziani (altezze = individui della popolazione);
ora è vero che non si conoscono parametri caratteristici di tale popolazione (tipo media, varianza, etc.);
però possiamo considerare l'altezza di un Marziano, al pari di quella di un terrestre, come un fenomeno naturale ("casuale");
in tali condizioni al tendere delle altezze ad infinito, la funzione di "distribuzione di probabilità" relativa alla popolazione tende ad una particolare distribuzione che è quella Gaussiana.
Tale funzione, approssimativamente, ha il seguente andamento:



dove sulle ascisse vi sono rappresentati gli individui della popolazione (le altezze) e sulle ordinate la probabilità che ciascun individuo si "verifichi" (ad es. se ogni 100 individui si presentano 2 individui i allora la probabilità associata ad i è del 2% (0,02)).
Analiticamente la curva ha equazione:

$\displaystyle f(x)=\frac{1}{\sigma\sqr{2\pi}}\;e^{\frac{(x-\mu)^2}{2\sigma^2}}$

dove $\mu$ è la media della popolazione e vale:
$\mu=\displaystyle\int f(x)x\;dx$
e $\sigma$ è la deviazione standard ed è pari a:
$\sigma=\sqr{\sigma^2}$
dove $\sigma^2$ è la varianza, ed è pari a:
$\sigma^2=\displaystyle\int f(x)(x-\mu)^2dx$

la curva ha l'importante proprietà che l'area sottesa ad essa, cioà l'integrale da $-\infty$ a $+\infty$ ci da la probabilità dell'evento certo, ossia è pari ad 1;
analogamente l'area sottesa ad un tratto di curva, ci da la probabilità che un individuo sia compreso in tale tratto.

Data la complessità della funzione $f(x)$ di distribuzione Gaussiana, se ne utilizza una più semplice che si ottiene dalla $f(x)$ tramite la sostituzione di variabile

$z=\frac{\bar{x}-\mu}{\frac{\sigma}{\sqr{n}}}$

dove $\bar{x}$ è la media del campione ed è pari a:

$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i$

da cui

$\displaystyle f(z)=\frac{1}{\sqr{2\pi}}\;e^{\frac{z^2}{2}}$

tale $f(z)$ corrisponde ad una distribuzione Gaussiana con $\mu=0$ e $\sigma=1$

Credo, a lume di buon senso e per un poco di esperienza...di vita, che il problema della numerosità del campione sia deducibile "a priori" se conosciamo alcuni dati (popolazione generale; scostamento atteso,...)

ed in effetti, è proprio così;
vi è un test, noto come test di Z, che permette di effettuare varie stime, tra cui quella di verificare se un dato campione sia rappresentativo della popolazione per un certo livello di significatività;
si basa sulla distribuzione Gaussiana normalizzata che ho descritto sopra;
però richiede di conoscere alcuni parametri della popolazione, ossia media e dev. standard.

Il difficile viene quando andiamo su Marte; quando cioè non conosciamo questi dati. Immagino che qualche informazione possa venire "in corso d'opera" dall'osservazione del trend dei risultati

Giusto; in tal caso si può utilizzare un altro test: il test t-student;
Tale test non si basa sulla distribuzione Gaussiana normalizzata, ma su di un'altra distribuzione che è la distribuzione t-student.
Tale distribuzione si ottiene dalla distribuzione Gaussiana standard ($f(x)$) effettuando la sostituzione di variabile $t=\frac{\bar{x}-\mu}{\frac{S} {\sqr{n}}}$
dove $n$ sono gli elementi del campione e dove $S$ è la deviazione standard del campione, ed è:

$S=\sqr{S^2$ dove $S^2$ è la varianza del campione ed essendo il campione discreto è pari ad una sommatoria:

$S^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2$

Sia la distribuzione Gaussiana normalizzata $f(z)$ che la t-student $f(t)$ sono in ogni caso complicate da utilizzare, per questo vengono fornite sotto forma di tabelle che contengono per un sufficientemente ampio range di individui, le probabilità associate.
La tabella per la distribuzione t-student è la seguente:



Bisogna tener conto della seguente:



Dunque, sulle righe della tabella sono riportati "i gradi di libertà $\nu$";
i gradi di libertà per definizione sono il numero di parametri che bisogna fissare affinchè un sistema risulti esattamente definito.
Tralasciando ulteriori spiegazioni, ci basta sapere che $\nu=n-1$, dove $n$ sono gli elementi del campione.
Le colonne della tabella, invece, riportano vari valori di $\alpha$;
questo $\alpha$ è la probabilità che il nostro t che viene fuori dai dati campionati sia maggiore dello t tabellato $t_{\alpha}$ (Vedi fig.);
quindi $\alpha$ è l'area sottesa alla coda della distribuzione, a partire da $t_{\alpha}$.
Ad es. se abbiamo un campione con n=20 elementi, e vogliamo avere la probabilità del 95% ($1-2\alpha$) che il campione sia rappresentativo della popolazione (ossia del 5% ($2\alpha$) che non sia rappresentativo della popolazione), entriamo nella tabella alla riga 19 ($\nu=20-1=19$) ed alla colonna $\alpha=0,025$ (dato che $\alpha$ si riferisce all'area sottesa ad una sola coda della distribuzione, che è simmetrica) e troviamo $t_\alpha=2,093$;
supponiamo che dai dati campionati ci ricaviamo $t=\frac{\bar{x}-\mu}{\frac{S}{\sqr{n}}}=2,2;$
essendo $t>t_{\alpha}$ diciamo che il campione analizzato non è rappresentativo della popolazione per il livello di significatività assunto (5%).

Tuttavia tale stima, non può essere applicata al caso dei marziani, in quanto non sappiamo la media della popolazione;
possiamo però stimare l'intervallo in cui, con una certa probabilità, si troverà tale media $\mu$.

tale intervallo, lo calcoliamo sapendo che:

$t=\frac{\bar{x}-\mu}{\frac{S}{\sqr{n}}}$

ora, affinchè la media $\mu$ abbia una certa probabilità di appartenere all'intervallo incognito c'è bisogno che $t\le t_{\alpha}$ da cui si ha:

$t=\frac{\bar{x}-\mu}{\frac{S}{\sqr{n}}}\le t_{\alpha}$ e quindi

$\mu\ge \bar{x}-t_{\alpha}\frac{S}{\sqr{n}}$

essendo poi la distribuzione simmetrica rispetto a 0, per l'altro estremo deve essere:

$t\ge -t_{\alpha}$ da cui $\mu\le \bar{x}+t_{\alpha}\cdot\frac{S}{\sqr{n}}$

quindi l'intervallo è:

$[\bar{x}-t_{\alpha}\cdot\frac{S}{\sqr{n}}\;,\;\bar{x}+t_{\alpha}\cdot\frac{S}{\sqr{n}}]$

Veniamo al caso dei marziani abbiamo il campione.

8-11-7-14-11-17-21-8-18-7; in tutto 10 individui.

Si ha:

$\bar{x}=\frac{8+11+7+14+11+17+21+8+18+7}{10}=12,2$
$S=\sqr{S^2}\approx \sqr{25,51}\approx 5,05$
$n=10$

supponiamo di volere una probabilità del 95% che la media $\mu$ della popolazione si trovi nell'intervallo che andiamo a calcolare;
per cui $\alpha=0,025$;
si ottiene dalla tabella (con $\nu=10-1=9$) $t_{\alpha}=2,262$;
quindi i due estremi dell'intervallo sono:

$\bar{x}-t_{\alpha}\cdot\frac{S}{\sqr{n}}=12,2-2,262\cdot \frac{5,05}{\sqr{10}}=8,585$
$\bar{x}+t_{\alpha}\cdot\frac{S}{\sqr{n}}=12,2+2,262\cdot \frac{5,05}{\sqr{10}}=15,815$

per cui, con una probabilità del 95%, l'altezza media dei marziani è compresa nell'intervallo

$[8,585,15,815]$

Questa stima non è particolarmente esaltante;
però utilizzando questi stessi strumenti che ho illustrato si possono fare molte altre stime tra cui l'altezza massima e minima di un marziano;
solo che per me già è troppo questa stima, e non so neanche se va bene.

Volevo segnalare il seguente interessante pdf, contenente anche degli esempi:

http://eco.uninsubria.it/webdocenti/ami ... p7-int.pdf

e le seguenti pagine su Wikipedia:

http://it.wikipedia.org/wiki/Funzione_gaussiana
http://it.wikipedia.org/wiki/Statistica_inferenziale
http://it.wikipedia.org/wiki/Test_di_ve ... %27ipotesi

Admin

[delfo52]

Grazie Pietro del prezioso contributo, che dà una veste e una autorevolezza solida e scientifica ai vagiti di semplice buon senso che avevo espresso.
Credo che l'ignoranza in materia sia assai diffusa (mi ci metto per primo, ma temo di essere in folta compagnia...) anche tra i cosiddetti divulgatori scientifici. Le "certezze" della statistica hanno un margine di "incertezza" che non deve scandalizzare, ma troppo spesso le uniche considerazioni e gli unici commenti sulla scienza della statistica si riducono alla banale citazione di Trilussa e del pollo. Per cui il valore dei dati del tale sondaggio o del tal altro studio sono ridicolizzati con l'espediente del pollo quando fa comodo così; salvo poi attribuire la massima autorevolezza ad un altro sondaggio o ad un altro studio, sempre a seconda della comodità del momento.

[Admin]

E' così, purtroppo.
Se ad es. una stima è attendibile al 95%, troppo spesso si ritiene che essa sia esatta e che il 5% non possa mai verificarsi;
allorchè si verifica succede il quarantotto.

Altre volte la stima è sbagliata in quanto sono sbagliati i dati su cui tale stima è stata fatta (vedi ultime elezioni).

Ciao
Admin

[delfo52]

proprio questa mattina sono stato ad un congresso, abbastanza interessante, su problemi cardiologici. Si parlava di aritmie, di terapie farmacologiche, e dei risultati che da queste terapie è lecito attenderci, sia in termini di esiti positivi (tipo: tromboembolie evitate, ictus, morti...) che in termini di complicanze indotte dalla terapia (tipo: emorragie, morti...).
Il bello era che un miglioramento prognostico del 2-4 % era considerato un ottimo risultato, che giustificava una certa terapia, capace appunto di ridurre i casi dal 7 al 4 %; nello stesso tempo il fatto che ciò comportasse la comparsa di effetti collaterali gravi in una percentuale simile di casi, era considerato come poco significativo.
Ancora di più spiccava la disinvoltura con cui i relatori snocciolavano i risultati di Trials clinici randomizzati e controllati (considerati la Bibbia della evidence based medicine), quando si confrontavano i dati di lavori differenti; sempre per restare al caso della incidenza di effetti collaterali gravi, è stato mostrato un lavoro in cui era riportata una incidenza di emorragia "maggiore" del 2,1 % annuo. Un altro lavoro prendeva in esame tale evenienza dopo avere stratificato i pazienti in base ad un certo numero di elementi che avrebbero dovuto costituire fattori di rischio (età, diabete, pregressi episodi, altri farmaci, ipertensione...). Ai pazienti veniva pertanto attribuito uno "score" epsresso in una scala da 1 a 16
Come era lecito attendersi, l'insorgere dell'efftto avverso "emorragia" si presentava in misura maggiore a a seconda del punteggio di partenza. E sullo schermo campeggiava una bella serie di istogrammi numerati da 1 a 16, crescenti in altezza e che rappresentavano la percentuale di emorragia nelle varie coorti. Il bello è che il rischio percentuale del gruppo a rischio minore risultava pari all'1,9 %, arrivando al 13-14 % del gruppo con "score " 16.
La cosa mal si accorda con quanto emergeva dallo studio citato prima, che cioè il rischio medio globale era del 2,1 % (a meno che la numerosità del primo sottogruppo fosse pari al 99% del totale !).
Ne deduco che i due lavori, per quanto seri accurati randomizzati controllati, in realtà sono andati ad eseminare due relatà cliniche differenti.
Ho fatto notare la cosa, ma sono stato tacciato di essere "il solito rompic..."

[Admin]

in relazione all'ultimo post di delfo, segnalo questo link dove vengono illustrati in modo chiaro alcuni dei principali strumenti statistici e dove tra una spiegazione e l'altra vi sono esempi riguardanti la medicina (tipo stimare se un farmaco B si rileva più efficace di uno A sulla base di dati campionati, oppure dare una stima della pressione media arteriosa a partire da..., etc.)

il link:

http://www.med.unipmn.it/~miglia/elemstat1.html

Admin

[delfo52]

http://www.cimedoc.uniba.it/notiziario/ ... a_prob.htm

partendo dal link offerto da Pietro, ho trovato questa bella e saggia conferenza di Bonferroni, che non dimostra certo gli anni che ha

[Admin]

veramente interessante;
mi era proprio sfuggita questa pagina.

Grazie delfo.

Ciao
Admin

[panurgo]

E' così, purtroppo.
Se ad es. una stima è attendibile al 95%, troppo spesso si ritiene che essa sia esatta e che il 5% non possa mai verificarsi

Invece, esso si verifica (in media) una volta su venti!

In realtà, tutti i test statistici basati sull'uso di code di ditribuzione (ovvero su una "misura di sorpresa", i dati sono poco probabili alla luce dell'ipotesi che ho fatto) sono criticabili in quanto non prevedono un'alternativa definita.

Dire che il valore che sto considerando cade nella coda di una distribuzione non ha nulla a che fare con la probabilità che l'ipotesi di partenza sia corretta.

p (x|HI) = probabilità dei dati x in funzione dell'ipotesi H e delle altre informazioni in mio possesso I (prende il nome tecnico di "likelihood" o "verosigmiglianza")

p (H|I) = probabilità dell'ipotesi H in base alle informazioni in mio possesso I ed ESCLUSI I DATI x (prende il nome tecnico di "prior")

p (x|I) = probabilità dei dati x in base alle informazioni in mio posesso I ed ESCLUSA L'IPOTESI H (prende il nome tecnico di "evidence")

p (H|xI) = probabilità dell'ipotesi H alla luce dei dati x e delle altre informazioni in mio possesso I (prende il nome tecnico di "posterior")

Queste quattro probabilità sono legate tra loro dal teorema di Bayes

$p (H|xI) = \frac {p (H|I) \times p (x|HI)}{p (x|I)} \propto p (H|I) \times p (x|HI)$

Se io considero due ipotesi H1 e H2 avrò

$\frac {p (H_1|xI)}{p (H_2|xI)} = \frac {p (H_1|I) \times p (x|H_1I)}{p (H_2|I)\times p (x|H_2I)}$

ecco che sono in grado di valutare l'attendibilità relativa di due (o più) ipotesi. Se l'ipotesi è una sola non sono in grado di falsificarla con dati probabilistici.

P.S.: vi siete chiesti che fine avesse fatto il panurgo?

[Bruno]

P.S.: vi siete chiesti che fine avesse fatto il panurgo?

Wow
Entro un attimo in questo topic interessantissimo (anche se al momento fuori
della mia portata) proprio solo per salutarti!
Certo che me lo son chiesto e me lo sto chiedendo anche per Pasquale.
D'altra parte, gli impegni sono tanti e si spera sempre che non ci siano altre
ragioni più serie (o gravi) dietro a qualche "assenza"...
Un sorriso.

Bruno