Statistica inferenziale: media, varianza campionaria e stimatori ML

Principio di Campionamento Ripetuto

Esempio: se Tn = X1+2X2+3X3+4X4 10 e (X1, X2,X3, X4) = (0,1,1,0), allora tn = 2+3 1 10 2 PRINCIPIO DI CAMPIONAMENTO RIPETUTO: solo studiando la distribuzione campionaria di Tn riferita al parametro 9, si può pervenire ad un giudizio sulla qualità dell'inferenza che si sta conducendo. Per ottenere la distribuzione campionaria di Tn si possono fare delle simulazioni ripetute. Tale principio è alla base dell'inferenza classica.

Media e Varianza Campionaria

Consideriamo una v.c. X con E (X) = 9 (cioè la media di X coincide con 9) e var(X) = o2 < n. Si estrae da X un campione casuale (X1, X2,.Xn), si possono allora dare le seguenti definizioni:

• MEDIA CAMPIONARIA: Xn = X1 + X2+ .. +Xn n n i=1 Xi n che risulta essere una v.c. perché somma di v.c. Inoltre si può dimostrare che
• E(X ) = E (Ei-1X) =E(ELx) = 'no = 9 cioè il valor medio di Xn coincide con quello di X.
• var (Xn) = var (Ei-1x) =1 var(El-1x) = = 02 cioè la varianza di Xn coincide con la varianza di X divisa per n. Al crescere di n la varianza tende a 0.
• MEDIA CAMPIONARIA CALCOLATA: &n = x1 + x2+ .. +Xn n i=1 n n xi dove (x1, X2, .. Xn) è il campione osservato generato dal campione (X1, X2,Xn).
• VARIANZA CAMPIONARIA CORRETTA (o NON DISTORTA): n 1 n -1 i=1 dove (Xi - Xn) rappresenta i vari scarti rispetto alla media campionaria. 7Se X è una v.c. normale X~N(9,62), allora ogni Xi è normale cioè Xi~N(0,62), allora Xn~N (9,04/n) e questo risultato è esatto. In particolare S2 ha una distribuzione proporzionale ad una v.c. chi-quadro dipendente dal parametro g = n - 1 detto gradi di libertà. S2~ 02_x2-1 n -1 Se X non è una v.c normale o lo è in modo "approssimato, Xn avrà un valore approssimato e non esatto.

Stima e Stimatore

5. STIMA E STIMATORE La teoria della stima si applica quando si desidera conoscere numericamente una quantità riguardante la popolazione dalla quale di estrae un campione casuale. Quindi la teoria della stima si occupa di determinare numericamente 9.

• Tn = stimatore per un parametro 9
• tn = stima del parametro Prima di parlare di proprietà degli stimatori che elencano i requisiti che deve avere Tn per stimare il parametro 9, è necessario introdurre il concetto di sufficienza. Su un piano intuitivo, si può definire stimatore sufficiente per 9, una sintesi del campione casuale Tn = T (X1, X2,.Xn) che conserva tutte le informazioni di 9 così come erano presenti nel campione casuale (X1, X2,.Xn). Praticamente tutte le informazioni di 9 vengono completamente trasferite dal campione casuale (X1, X2,Xn) allo stimatore Tn e (X1, X2,Xn) non contiene più informazioni su 9. Praticamente la proprietà della sufficienza è come una calamita rispetto ai materiali ferrosi. Formalmente gx (x1,x2,.xn) \Tn = to) non dipende da 9. Per definire lo stimatore sufficiente bisogna anche sapere a quale "famiglia" appartiene la v.c. X (Bernoulli, binomiale, Poisson ... per le v.c. discrete; normale, Gaussiana, t-student .. per le v.c. continue). Infine se Tn è sufficiente per 9, lo sarà anche qualsiasi funzione nota di Tn (ad esempio: Tn + 3; 2Tn .. ) quindi la sufficienza è una proprietà essenziale per uno stimatore ma non consente di pervenire ad un unico stimatore ma ad una classe di stimatori e quindi bisogna trovare criteri più operativi e possibilmente univoci per individuare lo stimatore più conveniente/ottimale.

Proprietà degli Stimatori

8I criteri che si utilizzano per qualificare la bontà di un operatore si definiscono proprietà degli stimatori: PROPRIETA' FINITE:

• LINEARITÀ: uno stimatore Tn si dice lineare per 9 se è possibile esprimerlo come combinazione lineare delle v.c. (X1, X2,.,Xn) secondo dei coefficienti noti cį: Tn = C1X1 + C2X2+ .. +CnXn = i=1 ! Se uno stimatore è lineare, è facile calcolare media e varianza. La media campionaria è uno stimatore lineare per 9 infatti: Xn = X1 + X2+ .. +Xn n = i=1 Σ ! n Xi = 1 n 1 -X1+-X2+ .. + -Xn 1 n n dove ci = = mentre la varianza campionaria non è uno stimatore lineare.
• NON DISTORSIONE: uno stimatore si dice non distorto per 9 se E (Tn) = 9 cioè se la distribuzione è proprio centrata su 9. Si definisce distorsione la quantità: dist(Tn) = E(Tn) - 9 si ha distorsione positiva se E (Tn) > 9, distorsione negativa se E (Tn) < 9, distorsione nulla se lo stimatore è non distorto; essa indica quanto il valore medio dello stimatore è distante dal parametro 9. La conseguenza di questa proprietà è che quando si considera il valore medio come misura di vicinanza di Tn a 9, l'errore commesso Tn - 9 è praticamente nullo. La media campionaria è uno stimatore non distorto infatti si è dimostrato che E (Xn) = 0. Si definisce errore quadratico medio (Mean Square Error) la quantità: MSE(Tn) = E(Tn - 9)2 Si può dimostrare che MSE(Tn) = var (Tn) + [dist(Tn)]2 " se T è non distorto allora dist(Tn) = 0, quindi MSE (Tn) = var (Tn) " se Tn è distorto allora dist(Tn) # 0, quindi MSE (Tn) > var (Tn) Per questa sua capacità di tenere conto della distorsione e della variabilità l'MSE è un criterio di scelta utilizzato e valido per scegliere tra più stimatori. Se MSE (Tm) < MSE (Tn2), conviene preferire Tm1 a Tn2 avendo il primo stimatore una variabilità attorno al parametro 9 da stimare

9sistematicamente più bassa di quella del secondo. In qualche circostanza, poiché il MSE è una quantità misurata al quadrato rispetto alla v.c. Tn e quindi rispetto al parametro 9 che deve stimare, si utilizza la radice quadrata del MSE detto RMSE (Root Mean Square Error).

• EFFICIENZA RELATIVA: se Tn, e Tn2 sono due stimatori dello stesso parametro 9, Tn] è più efficiente di Tn2 se MSE(Tm1) < MSE (Tn2). Si definisce efficienza relativa di T., rispetto a T„ la quantità: eff(Tn] |Tn2) = MSE(Tn2) MSE (Tm) Se eff(Tn] |Tn2) > 1, allora Tm] va preferito a Tn2 . Se Tmje Tn2 sono non distorti, allora MSE(Tn2) eff(Tn]|Tn2) = MSE (Tm1) var (Tm1) + [dist (Tn1)]2 var (Tn2) + [dist(Tn2)]2 var (Tn2) var (Tm1) In pratica eff (Tn) Tn2) dice di quanto bisogna aumentare la numerosità campionaria del secondo stimatore affinché questo abbia lo stesso MSE del primo.
• EFFICIENZA ASSOLUTA: uno stimatore Tn che non sia distorto per 9 si definisce efficiente per U se var(Tn) < var(Tn) per ogni T". L'efficienza relativa confronta gli stimatori a due a due e sceglie quello con MSE più piccolo rispetto all'altro, ma potrebbe esistere un altro stimatore che possiede un MSE ancora più piccolo. Tale stimatore è detto efficiente. La definizione di stimatore efficiente richiede alcune precisazioni: a) non sempre esiste uno stimatore efficiente in assoluto; b) la determinazione di uno stimatore efficiente in assoluto richiede che sia nota la famiglia di v.c. a cui appartiene la popolazione X per la quale occorre stimare il parametro 9; c) per alcuni variabili comuni (Normale, Bernoulli, Binomiale, Poisson) è possibile trovare uno stimatore efficiente in assoluto per i parametri che le caratterizzano.
• BLUE (best linear unbiased estimator): uno stimatore Tn per il parametro 9 si definisce BLUE se è lineare, non distorto e se, all'interno della classe di tutti gli stimatori di 9 ha varianza minima. Praticamente blue indica lo stimatore migliore tra quelli lineari e non distorti. Innanzitutto lo stimatore Tn deve essere lineare e non distorto quindi: 10_ 𝐸(𝑇!) E(Tn) = E i=1 `K𝑐'𝑋' n i=1 ! i=1 ! quindi ! i=1 = > ! Σά=1 i=1 Fra tutti i stimatori, lo stimatore BLUE è quello che ha varianza minima. Supponiamo per comodità var(X) = 1, allora ! >Cixi)=> c}var(X)=>c ?= >(-1+2) = i=1 ! i=1 ! i=1 ! var = Σ(α-1) +Σε+ n +2= >(α -- ) = Σ(α-1) + *** +2. Σα- i=1 n 2 n. ! 1 1 HIS i=1 $ = (ci-2)" ! 12 n n +-+-1 2 -72n=>(a-") + i=1 ! 1 n - La varianza è minima se Xi-1 (ci -1) = 0, perché - è fisso essendo n l'ampiezza del campione; quindi ci = -. Inoltre i=1 ! ! = HIS i=1 quindi la media campionaria è uno stimatore BLUE ed è efficiente all'interno della classe degli stimatori lineari e non distorti. Riassumendo:
• la sufficienza è la principale proprietà ma richiede la conoscenza della famiglia alla quale X appartiene e, soprattutto, non consente di pervenire ad un unico stimatore
• la linearità è utile per fare calcoli algebrici semplici
• l'efficienza relativa misurata tramite il MSE garantisce la scelta più accurata tra stimatori alternativi

11

• i=1 n i=1 1 n i=1 n. n i=1 𝑛K1 = i=1 i=1 E(Tn) = 9· la proprietà BLUE riconduce la ricerca all'interno di una classe ben definita (stimatori lineari e non distorti) ed è utile quando non si riesce ad arrivare ad uno stimatore efficiente in assoluto.

Proprietà Asintotiche degli Stimatori

PROPRIETA' ASINTOTICHE: Le proprietà di uno stimatore dovrebbero ragionevolmente migliorare quando le dimensioni del campione aumentano: questo principio intuitivo deriva dalla convinzione per cui, al crescere della numerosità, un campione casuale dovrebbe rappresentare sempre meglio la popolazione da cui è stato estratto. In primo luogo, si richiede che una eventuale distorsione si annulli al crescere della dimensione campionaria n ma, soprattutto, si desidera che l'errore che si commette utilizzando Tn al posto di 9 si riduca in termini di errore quadratico medio e in probabilità quando la dimensione campionaria si accresce. Infine si spera che la distribuzione campionaria stabilizzi la sua distribuzione assumendo una forma conveniente al crescere della dimensione campionaria n. Tali requisiti sono le proprietà asintotiche di uno stimatore.

• NON DISTORSIONE ASINTOTICA: Tn si dice asintoticamente non distorto se lim E(Tn) = 9 n>+00 cioè la distorsione tende ad annullarsi quando n cresce.
• CONSISTENZA IN MEDIA QUADRATICA: Tn si dice consistente in media quadratica se lim MSE(Tn) = lim E(Tn - 9)2 = 0 n>+00 n->+00 cioè si ha consistenza in media quadratica se l'errore quadratico medio tende a 0 al crescere della dimensione campionaria n. Dalla definizione segue che uno stimatore consistente in media quadratica è sempre asintoticamente non distorto. Osserviamo che se Tn = Xn, si ha E(X) = = > dist(Tn) = 0 => MSE(Xn) = var(Xn) allora MSE (X) = n che tende a 0 se n -> +00. Quindi Xn è uno stimatore consistente in media quadratica perché MSE tende a 0 quando n -> +00.

12