Introduction to Machine Learning (IntroML)5 ECTS
(englische Bezeichnung: Introduction to Machine Learning)

Lehrveranstaltungen:

• • Introduction to Machine Learning
    (Vorlesung, 2 SWS, Vincent Christlein, Fr, 8:30 - 10:00, H7)
  • Introduction to Machine Learning Exercises
    (Übung, 2 SWS, Paul Stöwer)
  • Introduction to Machine Learning Tutorial
    (Übung, 2 SWS, Paul Stöwer)

Empfohlene Voraussetzungen:

A pattern recognition system consists of the following steps: sensor data acquisition, pre-processing, feature extraction, and classification/machine learning. This course focuses mainly on the first three steps and is the basis of our master courses (Pattern Recognition and Pattern Analysis).

Ein Mustererkennungssystem besteht aus den folgenden Stufen: Aufnahme von Sensordaten, Vorverarbeitung, Merkmalsextraktion und maschinelle Klassifikation. Diese Vorlesung beschäftigt sich in erster Linie mit den ersten drei Stufen und schafft damit die Grundlage für weiterführende Lehrveranstaltungen im Master (Pattern Recognition und Pattern Analysis).

Inhalt:

The goal of this lecture is to familiarize the students with the overall pipeline of a pattern recognition system. The various steps involved from data capture to pattern classification are presented. The lectures start with a short introduction, where the nomenclature is defined. Analog-to-digital conversion is discussed with a focus on how it impacts further signal analysis. Commonly used preprocessing methods are then described. A key component of pattern recognition is feature extraction. Thus, several techniques for feature computation will be presented including Walsh transform, Haar transform, linear predictive coding (LPC), wavelets, moments, principal component analysis (PCA) and linear discriminant analysis (LDA). The lectures conclude with a basic introduction to classification. The principles of statistical, distribution-free and non-parametric classification approaches will be presented. Within this context we will cover Bayesian and Gaussian classifiers.

Die Vorlesung hat zum Ziel, die Studierenden mit dem prinzipiellen Aufbau eines Mustererkennungssystems vertraut zu machen. Es werden die einzelnen Schritte von der Aufnahme der Daten bis hin zur Klassifikation von Mustern erläutert. Die Vorlesung beginnt dabei mit einer kurzen Einführung, bei der auch die verwendete Nomenklatur eingeführt wird. Die Analog-Digital-Wandlung wird vorgestellt, wobei der Schwerpunkt auf deren Auswirkungen auf die weitere Signalanalyse liegt. Im Anschluss werden gebräuchliche Methoden der Vorverarbeitung beschrieben. Ein wesentlicher Bestandteil eines Mustererkennungssystems ist die Merkmalsextraktion. Verschiedene Ansätze zur Merkmalsberechnung werden gezeigt, darunter die Walsh- und die Haar-Transformation, Linear Predictive Coding (LPC), Wavelets, Momente, Hauptkomponentenanalyse und Lineare Diskriminanzanalyse. Die Vorlesung schließt mit einer Einführung in die maschinelle Klassifikation. Die Grundlagen der statistischen, der verteilungsfreien und der nichtparametrischen Klassifikation werden erläutert. In diesem Kontext wird der Bayes- und der Gauss-Klassifikator besprochen.

Lernziele und Kompetenzen:

The students

• explain the general pipeline of a pattern recognition system

• understand sampling, the sampling theorem, and quantization

• apply methods to decompose signals into sine and cosine functions

• apply various vector quantization methods

• apply histogram equalization and histogram stretching

• compare different thresholding methods

• apply the principle of maximum likelihood estimation to Gaussian probability density functions

• understand linear shift-invariant filters and convolution

• apply various low- and high-pass filters, as well as non-linear filters (homomorphic transformations, cepstrum, morphological operations, rank operations)

• apply various normalization methods

• understand the curse of dimensionality

• explain various heuristic feature extraction methods, e.g. projection to orthogonal bases (Fourier transform, Walsh/Hadamard transform, Haar transform), Linear Predictive Coding, geometric moments, feature extraction via filtering, wavelets)

• understand analytic feature extraction methods, e.g. Principal Component Analysis, Linear Discriminant Analysis

• define the decision boundary between classes

• compare different objective functions for feature selection

• explain the principles of statistical classification (optimal classifier, cost functions, Bayes classifier)

• understand different classifiers (Gauss classifier, polynomial classifier, non-parametric classifiers such as k-nearest neighbor classifier, Parzen windows) and compare them w.r.t. their decision boundaries, their computational complexity, etc.

• use the programming language Python to apply the presented pattern recognition techniques

• get to know practical applications and apply the presented algorithms to problems in practice

Die Studierenden

• erklären die Stufen eines allgemeinen Mustererkennungssystems

• verstehen Abtastung, das Abtasttheorem und Quantisierung

• wenden verschiedene Ansätze an, um ein Signal in seine Sinus- und Kosinusanteile zu zerlegen

• wenden verschiedene Methoden der Vektorquantisierung an

• verstehen und implementieren Histogrammequalisierung und -dehnung

• vergleichen verschiedene Schwellwertmethoden

• wenden das Prinzip der Maximum-Likelihood-Schätzung auf Gaußsche Wahrscheinlichkeitsdichtefunktionen an

• verstehen lineare, verschiebungsinvariante Filter und Faltung

• wenden verschiedene Tief- und Hochpassfilter sowie nichtlineare Filter (homomorphe Transformationen, Cepstrum, morphologische Operationen, Rangordnungsoperationen) an

• wenden verschiedene Normierungsmethoden an

• verstehen den Fluch der Dimensionalität

• erklären verschiedene heuristische Merkmalsberechnungsmethoden, z.B. Projektion auf einen orthogonalen Basisraum (Fourier-Transformation, Walsh/Hadamard-Transformation, Haar-Transformation), Linear Predictive Coding, geometrische Momente, Merkmale basierend auf Filterung, Wavelets)

• verstehen analytische Merkmalsberechnungsmethoden, z.B. Hauptkomponentenanalyse, Lineare Diskriminanzanalyse

• definieren die Entscheidungsgrenze zwischen Klassen

• vergleichen verschiedene Zielfunktionen zur Merkmalsauswahl

• erläutern die Grundlagen der statistischen Klassifikation (optimaler Klassifikator, Kostenfunktionen, Bayes-Klassifikator)

• erklären verschiedene Klassifikatoren (Gauss-Klassifikator, polynomieller Klassifikator, nichtparametrische klassifikatoren wie z.B. k-Nächster-Nachbar-Klassifikator, Parzen-Fenster) und vergleichen sie bezüglich ihrer Entscheidungsgrenze, ihrem Berechnungsaufwand, etc.

• benutzen die Programmiersprache Python, um die vorgestellten Verfahren der Mustererkennung anzuwenden

• lernen praktische Anwendungen kennen und wenden die vorgestellten Algorithmen auf konkrete Probleme an

Literatur:

• lecture slides

• Heinrich Niemann: Klassifikation von Mustern, 2. überarbeitete Auflage, 2003

• Sergios Theodoridis, Konstantinos Koutroumbas: Pattern Recognition, 4th edition, Academic Press, Burlington, 2009

• Richard O. Duda, Peter E. Hart, David G. Stock: Pattern Classification, 2nd edition, John Wiley & Sons, New York, 2001

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2007 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | alte Prüfungsordnungen | Gesamtkonto | Technische Wahlmodule | Introduction to Machine Learning)
2. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | alte Prüfungsordnungen | Gesamtkonto | Technische Wahlmodule | Introduction to Machine Learning)
3. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2010 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | Gesamtkonto | Technische Wahlmodule | Introduction to Machine Learning)
4. Data Science (Bachelor of Science)
   (Po-Vers. 2020w | Kernmodule Data Science | Wahlpflichtmodul Machine Learning | Introduction to Machine Learning)
5. Data Science (Bachelor of Science)
   (Po-Vers. 2022s | Gesamtkonto | Kernmodule Data Science | Wahlpflichtmodul Machine Learning | Introduction to Machine Learning)
6. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science) | Wahlfächer | Technische Wahlfächer (aus dem Angebot der Technischen Fakultät frei wählbar) | Introduction to Machine Learning)
7. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science)
   (Po-Vers. 2017w | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science) | Technische Wahlfächer (aus dem Angebot der Technischen Fakultät frei wählbar) | Introduction to Machine Learning)
8. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science)
   (Po-Vers. 2019w | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science) | Gesamtkonto | Wahlfächer | Technische Wahlfächer (aus dem Angebot der Technischen Fakultät frei wählbar) | Introduction to Machine Learning)
9. Informatik (Bachelor of Science)
   (Po-Vers. 2009s | TechFak | Informatik (Bachelor of Science) | Wahlpflichtbereich (5. und 6. Semester) | Wahlpflichtmodule | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
10. Informatik (Bachelor of Science)
    (Po-Vers. 2009w | TechFak | Informatik (Bachelor of Science) | Gesamtkonto | Wahlpflichtbereich (5. und 6. Semester) | Wahlpflichtmodule | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
11. Informatik (Bachelor of Science)
    (Po-Vers. 2022w | TechFak | Informatik (Bachelor of Science) | Gesamtkonto | Wahlpflichtbereich (Wahlpflichtmodule aus mind. 2 Vertiefungsrichtungen) | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
12. Informatik (Master of Science)
    (Po-Vers. 2010 | TechFak | Informatik (Master of Science) | Gesamtkonto | Wahlpflichtbereich | Säule der anwendungsorientierten Vertiefungsrichtungen | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
13. Informations- und Kommunikationstechnik (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Informations- und Kommunikationstechnik (Bachelor of Science) | Gesamtkonto | Wahlpflichtmodule, Wahlmodule, Seminar, Praktika, Bachelorarbeit | Wahlpflichtmodule aus Katalog für IuK | Introduction to Machine Learning)
14. International Information Systems (IIS) (Master of Science)
    (Po-Vers. 2014w | ReWiFak | International Information Systems (IIS) (Master of Science) | Informatics | Informatics Electives | Extension Courses | Introduction to Machine Learning)
15. International Information Systems (IIS) (Master of Science)
    (Po-Vers. 2017w | ReWiFak | International Information Systems (IIS) (Master of Science) | Gesamtkonto | Informatics | Informatics Electives | Extension Courses | Introduction to Machine Learning)
16. International Information Systems (IIS) (Master of Science)
    (Po-Vers. 2018w | ReWiFak | International Information Systems (IIS) (Master of Science) | Informatics | Core courses (Informatics) | Data and knowledge (Informatics - Core) | Introduction to Machine Learning)
17. International Information Systems (IIS) (Master of Science)
    (Po-Vers. 2018w | ReWiFak | International Information Systems (IIS) (Master of Science) | Informatics | Electives (Informatics) | Data and knowledge (Informatics - Elective) | Introduction to Machine Learning)
18. International Information Systems (IIS) (Master of Science)
    (Po-Vers. 2021w | ReWiFak | International Information Systems (IIS) (Master of Science) | Gesamtkonto | Informatics | Data and knowledge - Informatics | Introduction to Machine Learning)
19. Maschinenbau (Master of Science)
    (Po-Vers. 2007 | TechFak | Maschinenbau (Master of Science) | Studienrichtungen Allgemeiner Maschinenbau, Fertigungstechnik, und Rechnergestützte Produktentwicklung | Gesamtkonto | Wahlmodule | Technische Wahlmodule | Introduction to Machine Learning)
20. Mathematik (Bachelor of Science)
    (Po-Vers. | NatFak | Mathematik (Bachelor of Science) | Module des Nebenfachs | Nebenfach Informatik | Vertiefungsmodule | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
21. Mathematik (Bachelor of Science)
    (Po-Vers. 2015w | NatFak | Mathematik (Bachelor of Science) | Module des Nebenfachs | Nebenfach Informations- und Kommunikationtechnik | Wahlpflichtmodule aus Katalog für IuK | Introduction to Machine Learning)
22. Mathematik (Bachelor of Science)
    (Po-Vers. 2019w | NatFak | Mathematik (Bachelor of Science) | weitere Module der Bachelorprüfung | Module des Nebenfachs | Nebenfach Informatik | Vertiefungsmodule | Vertiefungsrichtung Mustererkennung | Introduction to Machine Learning)
23. Mathematik (Bachelor of Science)
    (Po-Vers. 2019w | NatFak | Mathematik (Bachelor of Science) | weitere Module der Bachelorprüfung | Module des Nebenfachs | Nebenfach Informations- und Kommunikationtechnik | Wahlpflichtmodule aus Katalog für IuK | Introduction to Machine Learning)
24. Mechatronik (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Mechatronik (Bachelor of Science) | Mechatronik (Studienbeginn bis 30.09.2020) | Gesamtkonto | Wahlpflichtmodule | 6 Informatik/Eingebettete Systeme | 6 Informatik/Eingebettete Systeme | Introduction to Machine Learning)
25. Mechatronik (Bachelor of Science)
    (Po-Vers. 2020w | TechFak | Mechatronik (Bachelor of Science) | Mechatronik (Studienbeginn ab 01.10.2020) | Gesamtkonto | Wahlpflichtmodule | 6 Informatik/Eingebettete Systeme | Introduction to Machine Learning)
26. Mechatronik (Bachelor of Science)
    (Po-Vers. 2021w | TechFak | Mechatronik (Bachelor of Science) | Mechatronik (Studienbeginn ab 01.10.2021) | Gesamtkonto | Wahlpflichtmodule | 6 Informatik / Eingebettete Systeme | Introduction to Machine Learning)
27. Mechatronik (Master of Science)
    (Po-Vers. 2012 | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn bis 30.09.2020) | Gesamtkonto | M3 Technische Wahlmodule | Introduction to Machine Learning)
28. Mechatronik (Master of Science)
    (Po-Vers. 2012 | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn bis 30.09.2020) | Gesamtkonto | M1-M2 Vertiefungsrichtungen | 6 Informatik/Eingebettete Systeme | 6 Informatik/Eingebettete Systeme | Introduction to Machine Learning)
29. Mechatronik (Master of Science)
    (Po-Vers. 2020w | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn ab 01.10.2020) | Gesamtkonto | M1-M2 Vertiefungsrichtungen | 6 Informatik/Eingebettete Systeme | Introduction to Machine Learning)
30. Mechatronik (Master of Science)
    (Po-Vers. 2020w | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn ab 01.10.2020) | Gesamtkonto | M3 Technische Wahlmodule | Introduction to Machine Learning)
31. Mechatronik (Master of Science)
    (Po-Vers. 2021w | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn ab 01.10.2021) | Gesamtkonto | M1-M2 Vertiefungsrichtungen | 6 Eingebettete Systeme | Introduction to Machine Learning)
32. Mechatronik (Master of Science)
    (Po-Vers. 2021w | TechFak | Mechatronik (Master of Science) | Mechatronik (Studienbeginn ab 01.10.2021) | Gesamtkonto | M3 Technische Wahlmodule | Introduction to Machine Learning)
33. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Medizintechnik (Bachelor of Science) | alte Prüfungsordnungen | Gesamtkonto | Modulgruppen B5 und B8.1 - Kompetenzfeld Bildgebende Verfahren | Modulgruppe B8.1 - Vertiefungsmodule ET/INF | Introduction to Machine Learning)
34. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Medizintechnik (Bachelor of Science) | alte Prüfungsordnungen | Gesamtkonto | Modulgruppen B6 und B8.2 - Kompetenzfeld Gerätetechnik | Modulgruppe B8.2 - Vertiefungsmodule MB/WW/CBI | Introduction to Machine Learning)
35. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2013 | TechFak | Medizintechnik (Bachelor of Science) | Gesamtkonto | Vertiefungsmodule ET/INF | Vertiefungsmodule aus dem Sockel beider Studienrichtungen | Introduction to Machine Learning)
36. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2013 | TechFak | Medizintechnik (Bachelor of Science) | Gesamtkonto | Vertiefungsmodule MB/WW/CBI | Vertiefungsmodule aus dem Sockel beider Studienrichtungen | Introduction to Machine Learning)
37. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2018w | TechFak | Medizintechnik (Bachelor of Science) | Gesamtkonto | Pflicht- und Wahlpflichtmodule der Studienrichtung Medizinelektronik, medizinische Bild- und Datenverarbeitung (Modulgruppen B5 und B8) | B8 Wahlpflichtmodule der Studienrichtung Medizinelektronik, medizinische Bild- und Datenverarbeitung | Vertiefungsmodule ET/INF | Introduction to Machine Learning)
38. Medizintechnik (Bachelor of Science)
    (Po-Vers. 2018w | TechFak | Medizintechnik (Bachelor of Science) | Gesamtkonto | Pflicht- und Wahlpflichtmodule der Studienrichtung Medizinische Gerätetechnik, Produktionstechnik und Prothetik (Modulpruppen B6 und B8) | B8 Wahlpflichtmodule der Studienrichtung Medizinische Gerätetechnik, Produktionstechnik und Prothetik | Vertiefungsmodule MB/WW/CBI | Introduction to Machine Learning)
39. Wirtschaftsinformatik (Bachelor of Science)
    (Po-Vers. 2010 | ReWiFak | Wirtschaftsinformatik (Bachelor of Science) | Vertiefungsbereich und Schlüsselqualifikationen | Wahlbereich | Introduction to Machine Learning)
40. Wirtschaftsinformatik (Bachelor of Science)
    (Po-Vers. 2015w | ReWiFak | Wirtschaftsinformatik (Bachelor of Science) | Gesamtkonto | Schlüsselqualifikationen | Wahlbereich | Introduction to Machine Learning)
41. Wirtschaftsinformatik (Bachelor of Science)
    (Po-Vers. 2017w | ReWiFak | Wirtschaftsinformatik (Bachelor of Science) | Gesamtkonto | Vertiefungsbereich | Introduction to Machine Learning)
42. Wirtschaftsinformatik (Bachelor of Science)
    (Po-Vers. 2018w | ReWiFak | Wirtschaftsinformatik (Bachelor of Science) | Gesamtkonto | Vertiefungsbereich | Introduction to Machine Learning)
43. Wirtschaftsinformatik (Bachelor of Science)
    (Po-Vers. 2020w | ReWiFak | Wirtschaftsinformatik (Bachelor of Science) | Gesamtkonto | Wahlpflichtbereiche | Wahlpflichtbereich Informatik | Introduction to Machine Learning)

Studien-/Prüfungsleistungen:

Introduction to Machine Learning (Prüfungsnummer: 57181)

(englischer Titel: Introduction to machine learning)

Prüfungsleistung, Klausur, Dauer (in Minuten): 60, benotet, 5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

Prüfungssprache: Englisch

Erstablegung: SS 2022, 1. Wdh.: WS 2022/2023

1. Prüfer:

Andreas Maier