Seminar Deep Learning Theory & Applications (SemDL)5 ECTS
(englische Bezeichnung: Seminar Deep Learning Theory & Applications)
(Prüfungsordnungsmodul: Seminar im Masterstudium)

Lehrveranstaltungen:

• • Seminar Deep Learning Theory & Applications
    (Seminar, 4 SWS, Andreas Maier et al., Mo, 16:00 - 17:30, Übung 4 / 01.253-128)

Inhalt:

Deep Neural Networks or so-called deep learning has attracted significant attention in the recent years. Interestingly the concept of Neural Networks inspired researchers already over generations since Minky's famous book (cf. http://en.wikipedia.org/wiki/Society_of_Mind ). Yet again, this technology brings researchers to the believe that Neural Networks will eventually be able to learn everything. (cf. http://www.ted.com/talks/jeremy_howard_the_wonderful_and_terrifying_implications_of_computers_that_can_learn ).
In this seminar, we will investigate the basics of neural networks as already found in Minsky's design and expand on this on the advances to modern deep convolutional neural networks. In addition, we will also investigate open-source deep learning libraries and look into the newest results in literature.

Lernziele und Kompetenzen:

The students

• perform literature research based on a given scientific article

• independently study the topic based on the found literature

• present the given topic in a manner that is understandable for their peers

• get to know the requirements of a scientific talk at an international conference

• give a talk in English and gain language competence

• investigate state-of-the-art deep neural network libraries

Literatur:

• Representation Learning: A Review and New Perspectives, Yoshua Bengio, Aaron Courville, Pascal Vincent, Arxiv, 2012.

• Deep Learning, Yoshua Bengio, Ian Goodfellow, Aaron Courville, MIT Press

• Gradient-Based Learning Applied to Document Recognition, Yann Lecun, 1998

• Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Srivastava et. al. 2014

• Greedy layer-wise training of deep networks, Bengio, Yoshua, et al. Advances in neural information processing systems 19 (2007): 153.

• Reducing the dimensionality of data with neural networks, Hinton et al. Science 313.5786 (2006): 504-507.

• Training Deep and Recurrent Neural Networks with Hessian-Free Optimization, James Martens and Ilya Sutskever, Neural Networks: Tricks of the Trade, 2012.

• Deep boltzmann machines, Hinton et al.

• Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion, Pascal Vincent et al.

• A fast learning algorithm for deep belief nets, Hinton et. al., 2006

• ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012

• Regularization of Neural Networks using DropConnect, Wan et. al., ICML

• OverFeat: Integrated recognition, localization and detection using convolutional networks. Computing Research Repository, abs/1312.6229, 2013.

• http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

• http://deeplearning.net/tutorial/

• Deep Learning Course on Coursera by Hinton

• DL platform with GPU support: caffe, lasagne, torch etc.
  

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science): ab 1. Semester
   (Po-Vers. 2013 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Seminar, Masterarbeit | Seminar im Masterstudium)

Studien-/Prüfungsleistungen:

Seminar Deep Learning (Prüfungsnummer: 514944)

(englischer Titel: Seminar Deep Learning)

Prüfungsleistung, Seminarleistung, Dauer (in Minuten): 30, benotet, 5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

weitere Erläuterungen:
Die Gesamtnote setzt sich zu 50% aus der Bewertung des Vortrags und zu 50% aus der Bewertung der Ausarbeitung / Implementierung zusammen. Ziel des Seminars ist die verständliche Aufbereitung eines Themas für andere Studierende. Die Vortragsdauer beträgt 30 Minuten. Ziel ist es, diese möglichst genau einzuhalten. Die Ausarbeitung umfasst 6 Seiten im Stil von IEEE-Konferenzbeiträgen. Vortrag und Ausarbeitung sollten auf Englisch erfolgen. Alternativ kann eine Demonstration implementiert werden. In diesem Fall umfasst die Ausarbeitung lediglich 3 Seiten.

Prüfungssprache: Englisch

Erstablegung: SS 20171. Wdh.: keine Wiederholung, 2. Wdh.: keine Wiederholung

1. Prüfer:

Andreas Maier