medie

[delfo52]

quando si parla di eventi casuali, con casualità uniformemente distibuita, l'accuratezza di una media è ovviamente maggiore all'aumentare del campione.
Ma quando si tratta di un evento "gaussiano", di un valore che, in ripetute misurazioni si distribuisce in modo normale, vale sempre la stessa regola?
nel mondo reale si applica spesso il sistema dell'eliminazione del valore più alto e del più basso, e si fa la media dei valori centrali.
Esempio: i voti delle giurie nei concorsi di tuffi e di ginnastica.
il presupposto di questo comportamento è facile da comprendere con un esempio. Ipotizziamo 5 valori (potrebbero essere i voti di un tuffo, ma anche il limite di rottura di una catena di ferro, o l'altezza di piantine in un vivaio): se sono abbastanza vicini (46-47-51-51-54) tra fare la media su 5 o solo su 47-51-51, fa poca differenza. Fa poca differenza anche se registriamo un valore molto anomalo verso il basso e uno verso l'alto (38-48-49-53-64). Ma se il valore anomalo è uno solo (ed essendo anomalo è per definizione raro ed è facile che sia isolato), ad es. 39-48-50-53-54) l'artificio di escludere insieme al 39 anche il 54 è geniale.
Mi è venuto in mente quanto sopra, mentre cercavo di ideare un sistema (virtuale) per misurare la resistenza alla trazione dello scotch telato "americano", quello grigio.
Ho ideato un sistema in cui al nastro si appendeva un bilanciere cui applicare pesi crescenti. Ovvio che una sola misurazione è poco. ovvio anche che con 50 o 100 misurazioni, si ottiene certamente un dato preciso. Ma volendo risparmiare?
Mi sono chiesto: è meglio fare 5 misurazioni e calcolare la media su tutte e 5, o eliminare la minima e la massima, e considerare solo le tre misure centrali?
Qualcuno è in grado di rispondere in linea teorica? (io no) Oppure è possibile creare un modello e fare qualche centinaio di estrazioni a 5 a 5 ?

[panurgo]

Carissimo Delfo, la mia personale esperienza dei boschi è stata duplice: da bambino ho esperito i boschi delle dolomiti (da ragazzo quelli delle Alpi Retiche) e non riuscivo a capire come si facesse a perdervisi; in età adulta mi è capitato di addentrarmi brevemente in un bosco dell'appenino toscano e ne sono uscito "a brandelli".
In un bosco dell'appennino bisogna entrare solo muniti di stivaloni e tuta da caccia (e anche di fucile per via dei cinghiali): ce li hai gli stivaloni?
Tanto per darti una graffiatina, nessuno può sapere se la media sarà più accurata dei singoli valori: ciò sarà vero (per la maggior parte delle distribuzioni) se tali valori centrano il/un "valore vero". Supponi che nella tua misura ci sia un "errore sistematico" (questi termini sono sandalini, non stivaloni): i dati che stanno dalla stessa parte del "valore vero" rispetto alla media sono tutti più accurati della media stessa (a meno di non essere mooolto lontani, dall'altra parte del "valore vero")...

[delfo52]

il tuo messaggio matematico-forestale è alquanto cripticio. Hai fumato qualche fungo raccolto in un bosco presso una centrale atomica nella alpi francesi???

io parto dal presupposto che esista un valore "vero", con una sua distribuzione gaussiana "vera": risultato di mille fantastiliardi di misurazioni eseguite in condizioni perfette e paradisiache da Nostro Signore in persona.
Le mie piccole serie osservazionale (diciamo 5 valori) le consideriamo effettuate in condizioni sperimantali acettabili, e pertanto possiamo considerar i 5 risultati come estrazioni casuali dal mega-campione "infinito" , vale a dire che i valori centrali avranno proporzionalmente più probabilità di essere estratti di quelli delle "code".
A queste condizioni, la media di un campione di 5 è più o meno accurata della media di un campione di (5-2) ?

[Gianfranco]

Ciao Enrico,
premetto che sono abbastanza ignorante nel campo dei test statistici, perciò considera questa risposta soltanto un inizio di discussione. Mi sono basato su alcuni ricordi di un corso semestrale universitario chiamato "Metodi di osservazione e misura".

a) Ripasso: un testo del prof. Franco Torelli che va subito al sodo, scaricabile da qui:
http://www.giurisprudenza.unimore.it/on ... 05580.html" target="_blank
Formato file: PDF/Adobe Acrobat - Visualizzazione rapida
I TEST STATISTICI. Franco Torelli. Anno Accademico 2007/2008 .... Verifica di una media - 1. • Una catena di alberghi pubblicizza un luogo di ...

b) Uso di un programma online che effettua il test t (di Student) che serve a verificare se fra due medie c'è o non c'è una differenza significativa.
Per esempio un programma è reperibile qui:
http://www.graphpad.com/quickcalcs/ttest1.cfm" target="_blank

o meglio qui, dove i dati possono essere inseriti con un copia e incolla
http://www.graphpad.com/quickcalcs/ttest1.cfm?Format=C" target="_blank

c) Uso di un programma che fornisce dati casuali a distribuzione Gaussiana.
Per esempio qui:
http://utenti.quipo.it/base5/probabil/g ... erator.htm" target="_blank

Ho fatto alcune prove in cui:
a) ho estratto 5 dati casuali a disribuzione Gaussiana di data media e data varianza:
b) per ogni prova ho sottoposto al Test di Student due serie di dati: 5 numeri e 3 numeri (togliendo il max e il min)
c) in tutte le prove ho ottenuto che NON c'è differenza significativa tra le due medie ottenute.

Se fosse vero e se i voti delle giurie fossero trattabili come dati statistici di questo tipo, un atleta potrebbe risultare superiore ad un altro pur non essendoci differenza significativa fra le medie dei punteggi ricevuti.

Ciao
Gianfranco

[delfo52]

grazie Gianfranco.
Potrei chiudere il post con un apologo; un aneddoto di vita vissuta che potrebbe intitolarsi

LA MODA, I TACCHI, E GAUSS
Ieri sera sono stato ad una festa; un'amica compive 50 anni. Sia lei, che marito e figli lavorano nel mondo della moda (moda giovane che mi risulta particolarmente aliena).
Gli ospiti erano in grande maggioranza giovani "under 30".
Ho compiyo uno studio oseervazionale sull'altezza dei tacchi delle donne. Una misura che può assumere qualsiasi valore nell'intervallo, diciamo, 0-12.
Orbene, la distribuzione dei valori osservati è stata inquietante. Circa la metà (14 su 30) delle donne avevano calzature assolutamente piatte, senza nemmeno quel rialzo posteriore, tipo maschile, di 1 o 2 cm.
Delle restanti 16, solo tre (palesemente le meno giovani, tra cui la mia legittima consorte) avevano un tacco di misura "media". Anche se ho potuto eseguire misurazioni solo "ad occhio", di sicuro in 13 casi il tacco era di 8 o più cm, con punte sicuramente oltre i 10.
Mi sono chiesto: che ne arebbe pensato il buon Gauss?
Sarebbe stato colto da dubbi e da crisi di identità? magari avrebbe buttato via i suoi studi?

[panurgo]

...Hai sottratto dalle mele
quattro mucche e un contadino.
Provolino, questo compito non va!
Ma non l’ho sbagliato io:
me l’ha fatto il mio papà!

Boccaccia mia, statti zitta!


Carissimi, sono sempre imbarazzato quando partecipo a discussioni come questa perché mi dispiace dover dichiarare, così tout court, che le cose che dite non hanno fondamento e, d’altra parte, la spiegazione è lunga e complessa e il tempo è tiranno.
Fino a che si rimane alle proprietà delle variabili casuali e dello loro distribuzioni la faccenda è relativamente semplice, un bel bosco montano adibito allo sfruttamento del legname e perciò tenuto pulito e praticabile; le cose cambiano drasticamente quando si ha a che fare con le misurazioni, un ginepraio.
Bisogna sempre ricordarsi che la mappa non è il territorio e quindi non bisogna confondere le due cose: che cosa mai potrà essere un «fenomeno “gaussiano”»?
Se torniamo alle distribuzioni, che sono enti matematici dal comportamento perfettamente prevedibile e definito, possiamo senz'altro affermare che, data una distribuzione (per esempio) uniforme tra $0$ e $1$,



la distribuzione della media di $n$ valori presenta una tendenza centrale più accentuata



La forma esatta di tali distribuzioni può essere calcolata mediante un integrale di convoluzione; lo stesso fenomeno si ha con quasi tutte le distribuzioni: altro esempio, la distribuzione gaussiana




Per quanto riguarda le misurazioni, l’esempio di Delfo sui tacchi e la moda è eclatante (Gauss non avrebbe battuto ciglio: è stato Laplace ad introdurre l’uso della distribuzione gaussiana nelle misurazioni).
Ecco un istogramma della distribuzione dell’altezza dei tacchi da lui riportata



Notate come la distribuzione non abbia una tendenza centrale e sia invece bimodale: ovviamente fare la media non ha alcun senso!
Inoltre, la distribuzione comprende trenta numeri ed è quindi discreta, come tutte le distribuzioni osservate sperimentalmente. Non può essere gaussiana (la gaussiana è una distribuzione continua): non esiste alcun «fenomeno “gaussiano”».

Altro esempio. Claude Bernard usava fegati di coniglio per calcolare il consumo di glucosio da parte degli organismi. Dopo l’espianto, faceva passare attraverso il fegato una soluzione di glucosio e misurava in doppio la concentrazione di glucosio dopo il passaggio: di tali valori faceva la media.
Un giorno, non mi ricordo per quale motivo, lasciò trascorre troppo tempo tra un prelievo e l’altro con il risultato che, contrariamente al solito, il secondo valore fu superiore al primo. Questo gli permise di scoprire la funzione glicogenica del fegato (in seguito isolò il glicogeno).
Parlando di questo fatto egli affermò: “un altro se la sarebbe cavata facendo la media”!

Entrambi gli esempi ci illustrano che le statistiche che noi utilizziamo per illustrare i dati sperimentali nascondono un bel po’ di metafisica (Heidegger?). D'altronde, non si possono nemmeno sommare mele e pere a meno di non creare una nuova classe di equivalenza, cioè facendo la necessaria metafisica.

Per quanto riguarda i test statistici, i risultati delle prove di Gianfranco sono completamente prevedibili: i test come il t di Student non possono essere applicati quando il campione è troppo piccolo (meno di $20$, $30$?) e si devono usare i corrispondenti test non parametrici (i quali hanno una performance peggiore in partenza e non potrebbero trovare una differenza statisticamente significativa). Nel caso specifico del confronto tra i cinque valori di una gaussiana e i tre centrali è intuitivamente ovvio che la probabilità che la media risulti diversa è estremamente bassa: vedete l’istogramma di centomila quintuple di valori estratti da una gaussiana di media $0$ e scarto tipo $1$ (gaussiana standard)



Notate comunque che tutto ciò si riferisce a campionamenti da una variabile casuale, un ente matematico che nulla ha a che fare con una misurazione reale se non come conveniente descrizione di ciò che sappiamo dell’oggetto della misurazione.

Per oggi basta! Tornerò quanto prima sulle misurazioni di nastri telati

[delfo52]

L'apologo dei tacchi era solo un divertimento; che l'altezza dei tacchi non fosse un fenomeno "naturale" di quelli che si usa chiamare gaussiani, l'avevo intuito.

Credo anche che, se si parte "sapendo" che si tratta di un fenomeno di quel tipo, il tempo e la fatica siano forse sprecati.
Nella vita reale, ci si trova spesso nella situazione contraria. C'è un fenomeno, non si sa che tipo di fenomeno è, lo si osserva, lo si misura, e si traggono conclusioni.
Per fare un esempio "classico": si parte spesso con una "moneta non truccata", e si osservano i lanci. Se la moneta era sicuramente non truccata, una eventuale anomalia dovremo imputarla al sistema di lancio o a qualche altro misterioso effetto confondente. nella realtà, noi non sappiamo "prima" se la moneta è buona o falsa, e dalle misurazioni ci aspettiamo una risposta.
Tornando alla festa di venerdì sera: se fossi stato un marziano, curioso di sapere se l'altezza dei tacchi si distribuisce in modo gaussiano, avrei avuto una chiara risposta.

[panurgo]

Il succo del mio discorso è che non esistono fenomeni che si "distribuiscono in modo gaussiano": per poterlo dire dovresti avere un campionamento infinito.
Le distribuzioni sperimentali possono o no avere una tendenza centrale: per descrivere le prime possiamo utilizzare una distribuzione gaussiana.
La distribuzione rappresenta abbastanza bene ciò che sappiamo delle nostre misure. "abbastanza bene" significa che la distribuzione gaussiana, a parità di media e varianza, è la distribuzione più larga possibile: quella che implica la minor presunzione da parte nostra, che aggiunge il meno possibile ai dati empirici.
Naturalmente, con cinque dati non puoi pretendere di avere una chiara indicazione di tendenza centrale, per non parlare della simmetria ecc. Puoi però utilizzare lo stesso una gaussiana per rappresentare il risultato della tua misurazione usando la varianza ottenuta in altre misure dello stesso tipo o in fase di taratura.

[Massimo]

Dopotutto la moda è l'evento con maggior frequenza, non quello medio (che appunto è un'altra cosa!).

Dal grafico s'evince come la moda sia tacco 0.

Forse merita porre l'accento sul fatto che qualcun altro avrebbe potuto dire che la moda è il NON avere il tacco 0...

[Gianfranco]

Grazie Panurgo per le spiegazioni, come sempre illuminanti.
Anch'io avevo dei dubbi sull'applicabilità del test di Student (ma era l'unico che ricordavo sul confronto di due medie quando si hanno pochi dati - ma evidentemente non troppo pochi).
Mi sembra però che rimanga ancora aperta la domanda iniziale di Enrico:

Mi sono chiesto: è meglio fare 5 misurazioni e calcolare la media su tutte e 5, o eliminare la minima e la massima, e considerare solo le tre misure centrali?

Naturalmente, con cinque dati non puoi pretendere di avere una chiara indicazione di tendenza centrale, per non parlare della simmetria ecc. Puoi però utilizzare lo stesso una gaussiana per rappresentare il risultato della tua misurazione usando la varianza ottenuta in altre misure dello stesso tipo o in fase di taratura.

Quindi è consigliabile tenere tutte e 5 le misurazioni?

Gianfranco Bo

[panurgo]

Supponiamo di avere misurato qualcosa cinque volte. Ripensiamo a che cosa è successo: è successo qualcosa di strano in qualcuna di tali misurazioni? Un valore si discosta molto dagli altri? Sappiamo che un valore di quelli trovati è impossibile?
Se la risposta a queste (e a molte altre) domande è no mi pare stupido rinunciare a parte delle informazioni che abbiamo ottenuto, presumibilmente con un certo sforzo.

Considerando solo i cinque numeri e non le moltissime informazioni ulteriori che solitamente si usano (in parte derivate dalla propria esperienza, in parte dalla letteratura ecc.) è difficile decidere cosa fare dei dati.

Si può anche dire che una misurazione è un processo (il cui prodotto è una misura, Lebesgue non c'entra) con il quale assegnamo una distribuzione per descrivere il nostro stato di conoscenza riguardo il misurando.

[Gianfranco]

Panurgo,
ho fatto 5 misurazioni di quanto sono d'accordo con te.
I risultati sono:
99%, 100%, 100%, 100%, 106%
Poiché dev'essere successo qualcosa di strano in una misurazione, la scarto.
La media (arrotondata all'intero) è: 100%.

Ciao
Gianfranco.

[delfo52]

Tornando al mio "pistolotto" introduttivo, la trovata di escludere le due misure estreme l'ho scoperta la prima volta alle olimpiadi di Città del Messico, quando tutti facemmo il tifo per il grande Klaus Dibiasi, scoprendo il misterioso mondo dei tuffi. E l'ancor più misterioso mondo del conteggio dei punti. (tra l'altro un ottimo esempio del concetto di coefficiente).
La leggenda (o la storia?) vuole che tale abitudine sia stata introdotta per disarmare i giudici corrotti o partigiani. Qualcuno ne sa di più?
Lo so; equiparare i "giudizi" alle misurazioni è un passaggio logico un po' forzato....

[Pasquale]

Bah, oggi, come oggi, si potrebbe anche pensare che l'unico punteggio proveniente da persona non corrotta sia proprio quello più strano; in tal caso, scartare tutti, eccetto quello.

Comunque, c'é stato un tempo (moltissimi anni fa) in cui ho studiato un po' di fisica e ricordo che nelle esercitazioni di laboratorio (la cosiddetta "fisichetta"), ci insegnavano a fare misurazioni, a calcolare gli errori strumentali, tirar fuori i grafici di tali operazioni.
Si trattava di materia studiata e codificata ed anche allora si usava scartare i valori più bassi e più alti delle misurazioni effettuate, perché si dava per scontato che degli errori potevano esserci, per qualsiasi ragione, nonostante gli accorgimenti adottati.
Ad esempio, per le pesate di precisione, c'erano delle bilance a due bracci sotto campana, perché anche il fiato poteva influenzare e falsare una pesata.
Se ne passava un bel po' di tempo, prima che la bilancia raggiungesse l'equilibrio nel suo altalenare.
Ricordo vagamente che subentrava nei calcoli, non so di che (parlo di circa cinquant'anni fa), uno "scarto quadratico medio"...qualcosa sotto radice....

[fabtor]

Ricordo vagamente che subentrava nei calcoli, non so di che (parlo di circa cinquant'anni fa), uno "scarto quadratico medio"...qualcosa sotto radice....

Cioè il quadrato della deviazione standard (ds) che da l'intervallo di precisione (X) centrato sulla media aritmetica (Xm):-ds+Xm<=X<= ds +Xm .

In biologia si ritiene (se non ricordo male) che un dato venga considerato normale se è dentro a 3 ds (circa il 98% dei casi), mentre in alcuni test genetici non si accettano risultati con un un margine di errore > del 2% [(100 -98)%].