Reinforcement Learning (RL)5 ECTS
(englische Bezeichnung: Reinforcement Learning)
(Prüfungsordnungsmodul: Reinforcement Learning)

Lehrveranstaltungen:

• • Reinforcement Learning
    (Vorlesung, 2 SWS, Christopher Mutschler, Do, 8:30 - 10:00, Zoom-Meeting)
  • Reinforcement Learning Übung
    (Übung, 2 SWS, Christopher Mutschler, Mo, 10:15 - 11:45, Zoom-Meeting)

Empfohlene Voraussetzungen:

Es handelt sich hier um eine Spezialisierungsvorlesung, eine erfolgreiche Absolvierung der Vorlesungen „IntroPR“ und/oder „Pattern Recognition“/“Pattern Analysis“ wird empfohlen. Konzepte, die in „IntroPR“ vermittelt werden, werden hier als Grundwissen vorausgesetzt.

Es wird empfohlen, folgende Module zu absolvieren, bevor dieses Modul belegt wird:

Maschinelles Lernen für Zeitreihen (WS 2020/2021)
Pattern Recognition (WS 2020/2021)
Deep Learning (WS 2020/2021)

Inhalt:

The lecture aims at teachin Reinforcement Learning (RL) and will cover the following topics:

• Introduction to Reinforcement Learning (Agent-Environment-Interface, Markov Decision Processes)

• Dynamic Programming (Bellman Equations, Value Iteration, Policy Iteration)

• Model-Free Prediction

• Model-Free Control

• Value Function Approximation (Linear VFA and DQNs)

• Policy-based Reinforcement Learning (Monte-Carlo Policy Gradient, Advantage Estimators, TRPO, PPO)

• Model-based RL

• Offline RL

• Explainable RL

• Exploration-Exploitation

• Simulation to Reality Transfer

• Research frontiers & hot topics, Sim2Real & Real-World Applications

Lernziele und Kompetenzen:

The students will learn to

• understand the basic principle behind sequestration decision making problems and how to translate them into a formal model

• compare and analyze methods different agents to search for policies

• implement the presented methods in PyTorch,

• discuss the social impact of applications that automate decision making

Literatur:

• Richard S. Sutton and Andrew G. Barto. 2018. Reinforcement Learning: An Introduction. A Bradford Book, Cambridge, MA, USA.

• Bellman, R.E. 1957. Dynamic Programming. Princeton University Press, Princeton, NJ. Republished 2003: Dover, ISBN 0-486-42809-5.

• Csaba Szepesvari and Ronald Brachman and Thomas Dietterich. 2010. Algorithms for Reinforcement Learning. Morgan and Claypool Publishers.

• Warren B. Powell. 2011. Approximate Dynamic Programming. Wiley.

• Maxim Lapan. 2020. Deep Reinforcement Learning Hands-On: Apply modern RL methods to practical problems of chatbots, robotics, discrete optimization, web automation, and more, 2nd Edition. Packt Publishing.

• Dimitri P. Bertsekas. 2017. Dynamic Programming and Optimal Control. Athena Scientific.

• Miguel Morales. 2020. grokking Deep Reinforcement Learning. Manning.

• Laura Graesser and Keng Wah Loon. 2019. Foundations of Deep Reinforcement Learning: Theory and Practice in Python. Addison-Wesley Data & Analytics.

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Advanced Signal Processing & Communications Engineering (Master of Science)
   (Po-Vers. 2020w | TechFak | Advanced Signal Processing & Communications Engineering (Master of Science) | Gesamtkonto | Technical Electives | Reinforcement Learning)

Studien-/Prüfungsleistungen:

Reinforcement Learning (Prüfungsnummer: 31851)

(englischer Titel: Reinforcement Learning)

Prüfungsleistung, mündliche Prüfung, Dauer (in Minuten): 30, benotet, 5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

weitere Erläuterungen:
Die Prüfung kann (abweichend von der Sprache der Vorlesung) nach Wunsch des Studierenden entweder in Deutsch oder in Englisch abgelegt werden
The examination can be taken (deviating from the language of the lecture) either in German or in English, according to the wishes of the student.

Prüfungssprache: Deutsch oder Englisch

Erstablegung: SS 2021

1. Prüfer:

Christopher Mutschler