Pattern Analysis (lecture only) (PA-V)5 ECTS
(englische Bezeichnung: Pattern Analysis (lecture only))

Lehrveranstaltungen:

• • Pattern Analysis
    (Vorlesung, 3 SWS, Joachim Hornegger et al., Mo, 8:30 - 10:00, H16; Di, 8:15 - 9:45, H16)

Empfohlene Voraussetzungen:

Es wird empfohlen, folgende Module zu absolvieren, bevor dieses Modul belegt wird:

Pattern Recognition (lecture only) (WS 2014/2015)

Inhalt:

Based on the lecture Pattern Recognition, this lecture introduces the design of pattern analysis systems as well as the corresponding fundamental mathematical methods. The lecture comprises:

• an overview over regression and classification, in particular the method of least squares and the Bayes classifier

• clustering methods: soft and hard clustering

• classification and regression trees and forests

• parametric and non-parametric density estimation: maximum-likelihood (ML) estimation, maximum-a-posteriori (MAP) estimation, histograms, Parzen estimation, relationship between folded histograms and Parzen estimation, adaptive binning with regression trees

• mean shift algorithm: local maximization using gradient ascent for non-parametric probability density functions, application of the mean shift algorithm for clustering, color quantization, object tracking

• linear and non-linear manifold learning: curse of dimensionality, various dimensionality reduction methods: principal component analysis (PCA), local linear embedding (LLE), multidimensional scaling (MDS), isomaps, Laplacian eigenmaps

• Gaussian mixture models (GMM) and hidden Markov models (HMM): expectation maximization algorithm, parameter estimation, computation of the optimal sequence of states/Viterbi algorithm, forward-backward algorithm, scaling

• Bayesian networks

• Markov random fields (MRF): definition, probabilities on undirected graphs, Hammersley-Clifford theorem and proof, cliques, clique potentials, examples for MRF-based image pre-processing and processing of image sequences

• Markov random fields and graph cuts: sub-modular functions, global optimization with graph cut algorithms, application examples

Aufbauend auf der Vorlesung Pattern Recognition führt die Vorlesung in das Design von Musteranalysesystemen sowie die zugrundeliegenden mathematischen Methoden ein. Die Vorlesung umfasst im Einzelnen:

• Überblick über Regression und Klassifikation, insbesondere die Methode der kleinsten Fehlerquadrate und der Bayes-Klassifikator

• Clustering-Methoden: Soft- und Hard-Clustering

• Klassifikations- und Regressionsbäume/-wälder

• parametrische und nicht-parametrische Dichteschätzung: Verfahren sind ML- und MAP-Schätzung, Histogramme, Parzenschätzung, Zusammenhang gefaltete Histogramme und Parzenschätzung, adaptives Binning mit Regressionsbäumen.

• 'Mean Shift'-Algorithmus: lokale Maximierung durch Gradientenaufstieg bei nicht-parametrischen Dichtefunktionen, Anwendungen des 'Mean Shift'-Algorithmus zum Clustering, Farbquantisierung und Objektverfolgung

• Linear and Non-Linear Manifold Learning: Curse of Dimensionality, Verschiedene Methode zur Dimensionsreduktion: Principal Component Analysis (PCA), Local Linear Embedding (LLE), Multidimensionsional Scaling (MDS), Isomap, Laplacian Eigenmaps

• Gaußsche Mischverteilungsmodelle (GMM) und Hidden-Markov-Modelle (HMM): 'Expectation Maximization'-Algorithmus, Parameterschätzung, Bestimmung der optimalen Zustandsfolge/Viterbi-Algorithmus, Vorwärts-Rückwärts-Algorithmus, Skalierung

• Bayes-Netze

• Markov-Zufallsfelder: Definition, Wahrscheinlichkeiten auf ungerichteten Graphen, Hammersley-Clifford-Theorem und dessen Beweis, Cliquen, Cliquen-Potenziale, Beispiele zur MRF-basierten Bildvorverarbeitung und Bildfolgenverarbeitung

• Markov Random Fields und Graph Cuts: submodulare Funktionen, globale Optimierung mit 'Graph Cut'-Algorithmen, Anwendungsbeispiele

Lernziele und Kompetenzen:

The students

• explain the discussed methods for classification, prediction, and analysis of patterns

• define regression and classification tasks as optimization problems

• analyse optimization problems

• adapt (multimodal) objective functions and define new objective functions for regression and classification problems

• understand joint discrete and continuous optimization with continuous and discrete variables and relaxation by transformation of discrete variables into continuous variables, e.g. from {0,1} to [0,1]

• compare methods for probability density estimation and select a suited method for a given set of features and a given problem

• apply non-parametric probability density estimation to pattern analysis problems

• apply dimensionality reduction techniques to high-dimensional feature spaces

• explain statistic modeling of feature sets and sequences of features

• explain statistic modeling of statistical dependencies
  

Die Studierenden

• erläutern die behandelten Methoden zur Klassifikation, Vorhersage und Analyse von Mustern

• formulieren Regressions- und Klassifikationsproblemen als Optimierungsaufgaben

• analysieren Optimierungsprobleme

• passen (multimodale) Zielfunktionen an und entwickeln für Regressions- und Klassifikationsprobleme neue Zielfunktionen

• verstehen simultane diskrete und kontinuierliche Optimierung mit kontinuierlichen und diskreten Variablen und Relaxation durch Transformation diskreter in kontinuierliche Variablen, also z.B. von {0,1} nach [0,1]

• vergleichen Methoden zur Dichteschätzung und wählen für eine vorgegebene Merkmalsmenge und in Abhängigkeit von der Fragestellung eine geeignete Methode aus

• wenden nicht-parametrische Dichteschätzung auf Probleme der Musteranalyse an

• wenden Dimensionsreduktion bei hochdimensionalen Merkmalsräumen an

• erläutern statistische Modellierung von Merkmalsmengen und Merkmalsfolgen

• erklären statistische Modellierung bei statistischen Abhängigkeiten
  

Literatur:

Christopher Bishop, Pattern Recognition and Machine Learning, Springer Verlag, Heidelberg, 2006
Richard O. Duda, Peter E. Hart und David G. Stork, Pattern Classification, Second Edition, 2004
Trevor Hastie, Robert Tibshirani und Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition, Springer Verlag, 2009

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. 123#67#H
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Informatik | Pattern Analysis)
2. 123#67#H
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Pattern Analysis)
3. Communications and Multimedia Engineering (Master of Science)
   (Po-Vers. 2011 | Masterprüfung | Wahlpflichtmodule | Technische Wahlpflichtmodule)
4. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Informatik | Pattern Analysis)
5. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Pattern Analysis)
6. Informatik (Master of Science)
   (Po-Vers. 2010 | Wahlpflichtbereich | Säule der anwendungsorientierten Vertiefungsrichtungen | Vertiefungsmodul Mustererkennung)
7. Informations- und Kommunikationstechnik (Master of Science)
   (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Multimediasysteme | Wahlpflichtmodule | Wahlpflichtmodul aus INF im Schwerpunkt Multimediasysteme)
8. Medizintechnik (Bachelor of Science)
   (Po-Vers. 2013 | Kern- und Vertiefungsmodule der Kompetenzfelder | Kompetenzfeld Bildgebende Verfahren | B8 Vertiefungsmodule ET/INF | Vertiefungsmodule aus dem Kompetenzfeld Bildgebende Verfahren)
9. Medizintechnik (Master of Science)
   (Po-Vers. 2011 | Modulgruppen M2 - M8 | Fachrichtung "Medizinische Bild- und Datenverarbeitung" | M3 Ingenieurswissenschaftliche Kernfächer II | Pattern Analysis)
10. Medizintechnik (Master of Science)
    (Po-Vers. 2013 | Studienrichtung Medizinische Bild- und Datenverarbeitung | M2 Ingenieurwissenschaftliche Kernmodule (BDV))

Studien-/Prüfungsleistungen:

Pattern Analysis (Prüfungsnummer: 41201)

Prüfungsleistung, mündliche Prüfung, Dauer (in Minuten): 30, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2015, 1. Wdh.: WS 2015/2016, 2. Wdh.: keine Wiederholung

1. Prüfer:

Joachim Hornegger