Insegnamento INFORMATION AND ESTIMATION THEORY
| Nome del corso | Ingegneria informatica e robotica |
|---|---|
| Codice insegnamento | A003165 |
| Curriculum | Comune a tutti i curricula |
| Docente responsabile | Giuseppe Baruffa |
| Docenti |
|
| Ore |
|
| CFU | 9 |
| Regolamento | Coorte 2022 |
| Erogato | Erogato nel 2022/23 |
| Erogato altro regolamento | |
| Attività | Affine/integrativa |
| Ambito | Attività formative affini o integrative |
| Settore | ING-INF/03 |
| Tipo insegnamento | Obbligatorio (Required) |
| Tipo attività | Attività formativa monodisciplinare |
| Lingua insegnamento | L’insegnamento è erogato in lingua italiana. |
| Contenuti | Elementi di teoria dell’informazione, elementi di codifica di sorgente, elementi di teoria della stima, elementi di teoria della decisione. |
| Testi di riferimento | Thomas M. Cover and Joy A. Thomas, “Elements of information theory”, 2nd ed., Wiley-Interscience, 2006. Steven M. Kay, “Fundamentals of statistical signal processing, vols. I and II: estimation theory and detection theory”, Prentice-Hall, 1993. |
| Obiettivi formativi | Comprendere i concetti fondamentali della teoria dell’informazione. Progettare schemi di codifica di sorgente. Comprendere i concetti fondamentali di teoria della stima e della decisione. Progettare stimatori e decisori ottimi per l’elaborazione di informazione e dati. |
| Prerequisiti | Teoria dei segnali e dei sistemi, fondamenti di telecomunicazioni e internet, teoria della probabilità e misurazione |
| Metodi didattici | Le lezioni si svolgono con didattica frontale di tipo teorico utilizzando PC e proiettore e integrazione alla lavagna (multimediale) degli argomenti presentati. Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina https://www.unipg.it/disabilita-e-dsa. |
| Altre informazioni | Ulteriori informazioni aggiornate saranno disponibili nella pagina UniStudium dedicata al corso, accessibile a tutti gli studenti iscritti all'insegnamento. |
| Modalità di verifica dell'apprendimento | La prova d’esame consiste in un colloquio della durata di circa 45 minuti (prova orale a stimolo aperto con risposta aperta) sugli argomenti presentati durante le lezioni. |
| Programma esteso | Elementi di teoria dell’informazione. Misura dell’informazione. Entropia, entropia relativa e informazione mutua. Relazione tra entropia ed informazione mutua. Regola a catena per l’entropia, l’entropia relativa e l’informazione mutua. Disuguaglianze di Jensen, elaborazione dei dati e log-sum. Proprietà di equipartizione asintotica (AEP). Tasso di entropia per processi aleatori discreti. Codifica di sorgente. Classificazione dei codici di sorgente. Disuguaglianza di Kraft. Codici ottimi: codici di Huffman. Codici universali: codici aritmetici, codici di Lempel-Ziv. Cenni alla teoria di rate-distortion (RD): definizioni, funzione di RD. Elementi di teoria della stima. Approccio classico: stima non polarizzata a varianza minima (MVU), limite inferiore di Cramer-Rao (CRLB), stima lineare non polarizzata a varianza minima (BLUE), stima a massima verosimiglianza (ML), stima ai minimi quadrati (LS). Approccio Bayesiano: stima a minimo errore quadratico medio (MMSE), stima lineare MMSE. Elementi di teoria della decisione. Test d’ipotesi binarie. Teorema di Neyman-Pearson. Curva ROC. Probabilità di errore. Rischio di Bayes. Test d’ipotesi multiple. GLRT. |