Pattern Analysis Deluxe (PA DX)7.5 ECTS
(englische Bezeichnung: Pattern Analysis Deluxe)
(Prüfungsordnungsmodul: Wahlpflichtbereich Informatik)

Lehrveranstaltungen:

• • Pattern Analysis Exercises
    (Übung, 1 SWS, Sebastian Käppler)
  • Pattern Analysis
    (Vorlesung, 3 SWS, Christian Riess, Mi, 8:15 - 9:45, H16; Do, 18:15 - 19:45, H16)
  • Pattern Analysis Programming
    (Übung, 2 SWS, Sebastian Käppler)

Empfohlene Voraussetzungen:

Es wird empfohlen, folgende Module zu absolvieren, bevor dieses Modul belegt wird:

Pattern Recognition Deluxe (WS 2016/2017)

Inhalt:

Based on the lecture Pattern Recognition, this lecture introduces the design of pattern analysis systems as well as the corresponding fundamental mathematical methods. The lecture comprises:

• an overview over regression and classification, in particular the method of least squares and the Bayes classifier

• clustering methods: soft and hard clustering

• classification and regression trees and forests

• parametric and non-parametric density estimation: maximum-likelihood (ML) estimation, maximum-a-posteriori (MAP) estimation, histograms, Parzen estimation, relationship between folded histograms and Parzen estimation, adaptive binning with regression trees

• mean shift algorithm: local maximization using gradient ascent for non-parametric probability density functions, application of the mean shift algorithm for clustering, color quantization, object tracking

• linear and non-linear manifold learning: curse of dimensionality, various dimensionality reduction methods: principal component analysis (PCA), local linear embedding (LLE), multidimensional scaling (MDS), isomaps, Laplacian eigenmaps

• Gaussian mixture models (GMM) and hidden Markov models (HMM): expectation maximization algorithm, parameter estimation, computation of the optimal sequence of states/Viterbi algorithm, forward-backward algorithm, scaling

• Bayesian networks

• Markov random fields (MRF): definition, probabilities on undirected graphs, Hammersley-Clifford theorem, cliques, clique potentials, examples for MRF-based image pre-processing and processing of image sequences

• Markov random fields and graph cuts: sub-modular functions, global optimization with graph cut algorithms, application examples
  

The accompanying exercises will provide further details on the methods and procedures presented in this lecture with particular emphasis on their application in image processing.

Aufbauend auf der Vorlesung Pattern Recognition führt die Vorlesung in das Design von Musteranalysesystemen sowie die zugrundeliegenden mathematischen Methoden ein. Die Vorlesung umfasst im Einzelnen:

• Überblick über Regression und Klassifikation, insbesondere die Methode der kleinsten Fehlerquadrate und der Bayes-Klassifikator

• Clustering-Methoden: Soft- und Hard-Clustering

• Klassifikations- und Regressionsbäume/-wälder

• parametrische und nicht-parametrische Dichteschätzung: Verfahren sind ML- und MAP-Schätzung, Histogramme, Parzenschätzung, Zusammenhang gefaltete Histogramme und Parzenschätzung, adaptives Binning mit Regressionsbäumen.

• 'Mean Shift'-Algorithmus: lokale Maximierung durch Gradientenaufstieg bei nicht-parametrischen Dichtefunktionen, Anwendungen des 'Mean Shift'-Algorithmus zum Clustering, Farbquantisierung und Objektverfolgung

• Linear and Non-Linear Manifold Learning: Curse of Dimensionality, verschiedene Methoden zur Dimensionsreduktion: Principal Component Analysis (PCA), Local Linear Embedding (LLE), Multidimensionsional Scaling (MDS), Isomap, Laplacian Eigenmaps

• Gaußsche Mischverteilungsmodelle (GMM) und Hidden-Markov-Modelle (HMM): 'Expectation Maximization'-Algorithmus, Parameterschätzung, Bestimmung der optimalen Zustandsfolge/Viterbi-Algorithmus, Vorwärts-Rückwärts-Algorithmus, Skalierung

• Bayessche Netze

• Markov-Zufallsfelder: Definition, Wahrscheinlichkeiten auf ungerichteten Graphen, Hammersley-Clifford-Theorem, Cliquen, Cliquen-Potenziale, Beispiele zur MRF-basierten Bildvorverarbeitung und Bildfolgenverarbeitung

• Markov Random Fields und Graph Cuts: submodulare Funktionen, globale Optimierung mit 'Graph Cut'-Algorithmen, Anwendungsbeispiele
  

In den Übungen werden die in der Vorlesung vorgestellten Verfahren vertieft und auf konkrete Probleme in der Bildverarbeitung angewendet.

Lernziele und Kompetenzen:

The students

• explain the discussed methods for classification, prediction, and analysis of patterns,

• compare and analyze methods for manifold learning with respect to a given analysis goal,

• compare and analyze methods for probability density with respect to a given analysis goal,

• apply non-parametric probability density estimation to pattern analysis problems,

• apply dimensionality reduction techniques to high-dimensional feature spaces,

• explain statistic modeling of feature sets and sequences of features,

• explain statistic modeling of statistical dependencies,

• implement the presented methods in MatLab or Python,

• design autonomously pattern analysis systems and prototypically implement them,

• effectively investigate raw data, intermediate results and results of pattern analysis systems on a computer,

• supplement autonomously the mathematical foundations of the presented methods by self-guided study of the literature,

• discuss the social impact of applications of pattern analysis solutions.

Die Studierenden

• erläutern die behandelten Methoden zur Klassifikation, Vorhersage und Analyse von Mustern,

• formulieren Regressions- und Klassifikationsproblemen als Optimierungsaufgaben,

• vergleichen und analysieren Methoden des Manifold Learning bezüglich einer vorgegebenen Fragestellung,

• vergleichen und analysieren Methoden zur Dichteschätzung bezüglich einer vorgegebenen Fragestellung,

• wenden nicht-parametrische Dichteschätzung auf Probleme der Musteranalyse an,

• wenden Dimensionsreduktion bei hochdimensionalen Merkmalsräumen an,

• erläutern statistische Modellierung von Merkmalsmengen und Merkmalsfolgen,

• erklären statistische Modellierung abhängiger Größen,

• implementieren die vorgestellten Verfahren in MatLab oder Python,

• konzipieren selbständig Musteranalyse-Systeme und implementieren diese prototypisch,

• untersuchen effektiv Rohdaten, Zwischenergebnisse und Ergebnisse von Musteranalyse-Systemen am Rechner,

• ergänzen eigenständig mathematische Grundlagen der präsentierten Methoden durch selbstbestimmtes Studium der Literatur,

• diskutieren die gesellschaftlichen Auswirkungen von Anwendungen der Musteranalyse.

Literatur:

• Richard O. Duda, Peter E. Hart und David G. Stork: Pattern Classification, Second Edition, 2004
  

• Christopher Bishop: Pattern Recognition and Machine Learning, Springer Verlag, Heidelberg, 2006
  

• Antonio Criminisi and J. Shotton: Decision Forests for Computer Vision and Medical Image Analysis, Springer, 2013
  

• Kevin P. Murphy: Machine Learning: A Probabilistic Perspective, MIT Press, 2012
  

• papers referenced in the lecture

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science): ab 1. Semester
   (Po-Vers. 2013 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Wahlpflichtbereich Informatik | Wahlpflichtbereich Informatik)

Studien-/Prüfungsleistungen:

Pattern Analysis (Vorlesung mit Übung) (Prüfungsnummer: 263497)

Prüfungsleistung, mündliche Prüfung, Dauer (in Minuten): 30, benotet, 7.5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2017, 1. Wdh.: WS 2017/2018, 2. Wdh.: keine Wiederholung

1. Prüfer:

Christian Riess