Bild-, Video- und mehrdimensionale Signalverarbeitung (IVMSP)5 ECTS
(englische Bezeichnung: Image, Video, and Multidimensional Signal Processing)
(Prüfungsordnungsmodul: Bild-, Video- und mehrdimensionale Signalverarbeitung)

Lehrveranstaltungen:

• • Bild-, Video- und mehrdimensionale Signalverarbeitung
    (Vorlesung, 2 SWS, André Kaup, Mi, 10:15 - 11:45, 04.023)
  • Übung zu Bild-, Video- und mehrdimensionaler Signalverarbeitung
    (Übung, 2 SWS, Andy Regensky, Mi, 12:15 - 13:45, 05.025)

Empfohlene Voraussetzungen:

Vorlesung Signale und Systeme I und II

Inhalt:

Punktoperationen
Histogrammausgleich, Gamma-Korrektur

Binäroperationen
Morphologische Filter, Erosion, Dilatation, Opening, Closing

Farbräume
Trichromat, RGB- Farbraum, HSV-Farbraum

Mehrdimensionale Signale und Systeme
Theorie mehrdimensionaler Signale und Systeme, Impulsantwort, lineare Bildfilterung, Leistungsspektrum, Wiener Filter

Interpolation von Bildsignalen
Bilineare Interpolation, Bicubische Interpolation, Spline Interpolation

Merkmalsdetektion in Bildern
Bildmerkmale, Kantendetektion, Hough Transformation, Harris Ecken Detektor, Texturmerkmale, Grauwertematrix

Skalierungsraumdarstellung
LoG, DoG, SIFT, SURF

Bildabgleich
Projektive Abbildungen, Blockabgleich, Optischer Fluss, Merkmalsbasierter Abgleich mittels SIFT und SURF, RANSAC

Bildsegmentierung
Amplituden Schwellenwertermittlung, K-Means Clustering, Bayes Klassifikation, Regionen-basierte Segmentierung, kombinierte Segmentierung und Bewegungsschätzung, zeitliche Segmentierung von Videos

Bildverarbeitung im Transformationsbereich
Unitäre Transformation, Karhunen-Loeve Transformation, separable Transformationen, Haar und Hadamard Transformation, DFT, DCT

Content:

Point operations
Histogram equalization, gamma correction

Binary operations
Morphological filters, erosion, dilation, opening, closing

Color spaces
Trichromacy, red-green-blue color spaces, color representation using hue, saturation and value of intensity

Multidimensional signals and systems
Theory of multidimensional signals and systems, impulse response, linear image filtering, power spectrum, Wiener filtering

Interpolation of image signals
Bi-linear interpolation, bi-cubic interpolation, spline interpolation

Image feature detection
Image features, edge detection, Hough transform, Harris corner detector, texture features, co-occurrence matrix

Scale space representation
Laplacian of Gaussian, difference of Gaussian, scale invariant feature transform, speeded-up robust feature transform

Image matching
Projective transforms, block matching, optical flow, feature-based matching using SIFT and SURF, random sample consensus algorithm

Image segmentation
Amplitude thresholding, k-means clustering, Bayes classification, region-based segmentation, combined segmentation and motion estimation, temporal segmentation of video

Transform domain image processing
Unitary transform, Karhunen-Loeve transform, separable transform, Haar and Hadamard transform, DFT, DCT

Lernziele und Kompetenzen:

Die Studierenden

• verstehen Punktoperationen an Bilddaten und Gamma-Korrektur

• testen die Wirkung von Rangordnungs- und Medianfiltern an Bilddaten

• unterscheiden und bewerten verschiedene Farbräume für Bilddaten

• erklären das Prinzip der zwei-dimensionalen linearen Filterung für Bildsignale

• berechnen und bewerten die zweidimensionale diskrete Fourier-Transformierte eines Bildsignales

• bestimmen vergrößerte diskrete Bildsignale mit Methoden der bilinearen und Spline-Interpolation

• überprüfen Bilddaten auf ausgewählte Textur-, Kanten- und Bewegungsmerkmale

• analysieren Bild- und Videodaten auf Merkmale in unterschiedlichen Scale-Spaces

• erläutern und beurteilen Methoden für das Matching von Bilddaten

• segmentieren Bilddaten durch Programmierung von einfachen Klassifikations- oder Clustering-Verfahren

• verstehen das Prinzip von Transformation auf Bilddaten und können diese an Beispielen anwenden.

The students

• understand point operations for image data and gamma correction

• test the effects of rank order and median filters for image data

• evaluate and differentiate between different color spaces for image data

• explain the principle of two-dimensional linear filtering for image signals

• calculate and evaluate the two-dimensional discrete Fourier transform of an image signal

• determine enlarged discrete image signals by bi-linear and spline interpolation

• verify image data for selected texture, edge and motion features

• analyze image and video data for features in different scale spaces

• explain and evaluate methods for the matching of image data

• segment image data by implementing basic classification and clustering methods

• understand the principle of transformations on image data and apply them exemplarily

Literatur:

J.-R. Ohm: Multimedia Content Analysis, Springer, 2016
J. W. Woods: Multidimensional Signal, Image, and Video Processing and Coding, Academic Press, 2^nd edition, 2012

Bemerkung:

This lecture replaces the previous lecture Visual Computing for Communication (VCC).

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2013 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Gesamtkonto | Wahlpflichtbereich Technisches Anwendungsfach | Information Technology - DSP | Bild-, Video- und mehrdimensionale Signalverarbeitung)

Studien-/Prüfungsleistungen:

Bild-, Video- und mehrdimensionale Signalverarbeitung (Prüfungsnummer: 63121)

Prüfungsleistung, Klausur, Dauer (in Minuten): 90, benotet, 5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

Prüfungssprache: Englisch

Erstablegung: WS 2022/2023, 1. Wdh.: SS 2023

1. Prüfer:

André Kaup

Termin: 13.10.2022