Deviance information criterion

rdf:langString Criterio informativo della devianza

rdf:langString Il criterio informativo della devianza, DIC (deviance information criterion), è una generalizzazione di modellizzazione gerarchica del criterio informativo di Akaike (AIC, Akaike information criterion) e dello Schwarz Criterion (BIC). È particolarmente utile nei problemi di bayesiani in cui le distribuzioni a posteriori dei modelli è stata ottenuta mediante simulazione MCMC. Analogamente all'AIC e al BIC, il DIC è una approssimazione asintotica che migliora ampliando la dimensione del campione di dati. È valida solamente quando la distribuzione a posteriori è approssimativamente di tipo normale multivariata. Definiamo la devianza come , dove rappresenta i dati, i parametri incogniti del modello e è la funzione di verosimiglianza. è una costante che può essere trascurata in tutti i calcoli cui vengono confrontati modelli differenti, e in quanto tale non richiede di essere calcolata. Il valore atteso è una misura di quanto il modello si adatta ai dati; maggiore è il valore atteso, peggiore è l'adattamento e quindi la bontà del modello. Il numero di parametri efficace del modello è calcolato come , dove è il valore atteso di . Maggiore è il valore atteso, più facile è per il modello adattarsi ai dati. Il DIC è calcolato come L'idea è quella per cui modelli con valore di DIC piccolo dovrebbero essere preferiti a quelli con DIC grande. I modelli sono penalizzati mediante il valore di , il quale favorisce un buon adattamento ai dati, ma anche (in comune con AIC e BIC) mediante il numero di parametri efficace . poiché diminuisce all'aumentare del numero di parametri, il termine compensa per questo effetto favorendo modelli con un numero piccolo di parametri. Nel caso di scelta tra modelli bayesiani, il vantaggio del DIC rispetto agli altri è di essere più facilmente calcolabile da campioni generati mediante simulazioni Monte Carlo basate su catene di Markov, MCMC (Markov Chain Monte Carlo). I criteri AIC e BIC richiedono il calcolo del massimo della verosimiglianza sopra il parametro , e questo non è direttamente reso disponibile da una simulazione MCMC. Invece per calcolare il valore del DIC, semplicemente si calcola come la media di sopra i campioni di , mentre come il valore di calcolato sulla media dei campioni di . Il valore del DIC segue allora direttamente da queste approssimazioni. Claeskens e Hjort (2008, Cap. 3.5) mostrano che il DIC è equivalente per campionamenti estesi alla naturale versione robusta (in termini di modello) dell'AIC. Nella derivazione del DIC, la famiglia parametrica di distribuzioni di probabilità specificata, e che genera le osservazioni future, include il modello vero. Questa assunzione non è sempre valida e in tale scenario è auspicabile considerare delle procedure di accertamento del modello. Inoltre, anche i dati osservati sono impiegati per costruire la distribuzione a posteriori e per determinare i modelli stimati. Perciò, il DIC tende a prediligere modelli sovra-adattati ai dati. Recentemente questi problemi sono stati risolti da Ando (2007) sviluppando criteri di scelta del modello bayesiano a partire da un punto di vista predittivo, BPIC (Bayesian model selection criteria). Per evitare i problemi di sovra-adattamento del DIC, Ando (2012) ha sviluppato un criterio di selezione del modello bayesiano da un punto di vista predittivo. Il criterio è calcolato come: Il primo termine è una misura di quanto bene il modello si adatta ai dati, mentre il secondo termine è una penalità sulla complessità del modello.