Informationstheorie (IT)5 ECTS
(englische Bezeichnung: Information Theory)

Lehrveranstaltungen:

• • Informationstheorie
    (Vorlesung, 3 SWS, Johannes Huber, Di, jede 2. Woche Mi, 8:30 - 10:00, H15)
  • Übungen zur Informationstheorie
    (Übung, 1 SWS, Christoph Rachinger, jede 2. Woche Mi, 8:15 - 9:45, H15; ab 22.4.2015)

Inhalt:

• Grundlegende Definitionen

• Codierung für diskrete Informationsquellen

• Informationstheoretische Beschreibung von Übertragungskanälen

• Informationstheoretische Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung

• Kontinuierlich verteilte Zufallsvariablen

• Farbiges Rauschen - Signalverzerrungen

• Mehrbenutzerkommunikation

Lernziele und Kompetenzen:

Die Studierenden erklären das grundlegende Blockschaltbild für die digitale Nachrichtenübertragung. Bei der informationstheoretischen Modellierung und Analyse der Nachrichtenübertragung verwenden sie diskrete gedächtnislose Informationsquellen, gekoppelte Informationsquellen, das Informationsmaß nach Shannon für diskrete Quellen und das Data Processing Theorem. Sie ermitteln den mittleren Informationsgehalt und bestimmen die relative Entropie. Sie erläutern das Informationsmaß nach Hartley für diskrete Quellen und die Problematik diskreter gedächtnisbehafteter Quellen.

Die Studierenden erklären das Quellencodierungstheorem und analysieren verschiedene Quellencodierverfahren, u.a., mit Codewörtern variabler Länge (variable length code, z.B. Huffmann-Code), Blockcodierung für diskrete gedächtnislose Quellen mit Quellenwörtern variabler Länge (Tunstall-Code, Lempel-Ziv) und Blockcodierung für Quellenwörter mit fester Länge.

Die Studierenden bestimmen und analysieren die informationstheoretischen Größen von Übertragungskanälen, insbesondere die Kanalkapazität. Sie untersuchen symmetrische diskrete gedächtnislose Kanäle.

Die Studierenden erläutern die informationstheoretischen Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung. Dabei beschreiben und analysieren Sie Blockcodes und deren (optimale) Decodierung (Maximum-a-posteriori- und Maximum-Likelihood- Decodierung) und analysieren die Umkehrung des Kanalcodierungstheorems. Sie schätzen die Wortfehlerwahrscheinlichkeit bei ML-Decodierung nach Bhattacharyya und die Fehlerwahrscheinlichkeit nach Gallager ab. Sie erklären die heuristische Ableitung des Kanalcodierungstheorems basierend auf typischen Sequenzen.

Die Studierenden analysieren die informationstheoretischen Größen in Szenarien mit kontinuierlich verteilten Zufallsvariablen. Dabei untersuchen sie den gedächtnislosen Kanal mit diskreter Eingangs- und kontinuierlicher reeller Ausgangsvariable sowie den gedächtnislosen Kanal mit kontinuierlichen reellen Ein- und Ausgangsvariablen. Sie bestimmen und analysieren die differentielle Entropie und untersuchen die Kapazität des AWGN-Kanals. Die Studierenden analysieren die Auswirkungen von farbigem Rauschen und Signalverzerrungen auf die Kanalkapazität.

Die Studierenden erläutern die informationstheoretischen Grundlagen der Mehrbenutzerkommunikation. Insbesondere analysieren sie die relevanten Größen von Multiple Access Channel (MAC) und Broadcast Channel (BC).

Als mathematische Hilfsmitteln nutzen die Studierenden die Tschebyscheff'sche Ungleichungen, das schwache Gesetz der großen Zahlen, Eigenschaften von konvexen Funktionen (dabei insbesondere die Jensen’sche Ungleichung), die Optimierung mit Berücksichtigung von Nebenbedingungen (Lagrange’sche Optimierung). Sie analysieren die Bedingungen zur Maximierung der Summenkapazität paralleler Kanäle und erklären die Water-Filling-Regel.

Literatur:

• Huber, J.: Lecture manuscript;

• Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968;

• Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991

Bemerkung:

Vorlesung wird auf Englisch gehalten. Eine deutschsprachige Vorlesung folgt im Simmersemester.

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. 123#67#H
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Informationstheorie)
2. 123#67#H
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Technisches Anwendungsfach | Informationstheorie)
3. Berufspädagogik Technik (Master of Education)
   (Po-Vers. 2010 | Studienrichtung Elektro- und Informationstechnik (Masterprüfungen) | Wahlpflichtmodule Fachwissenschaft | Informationstheorie)
4. Communications and Multimedia Engineering (Master of Science): 1. Semester
   (Po-Vers. 2011 | Masterprüfung | Pflichtmodule | Informationstheorie)
5. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2010 | Bachelorprüfung | Technisches Anwendungsfach (TAF) | NF Information Technology | Informationstheorie)
6. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Informationstheorie)
7. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | Masterprüfung | Wahlpflichtbereich Technisches Anwendungsfach | Informationstheorie)
8. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2013 | Wahlpflichtbereich Technisches Anwendungsfach | Information Technology - DSP)
9. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2013 | Wahlpflichtbereich Technisches Anwendungsfach | Information Technology - DT)
10. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science): 5-6. Semester
    (Po-Vers. 2007 | Studienrichtungen (Wahlpflichtmodule) | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)
11. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science): 5-6. Semester
    (Po-Vers. 2009 | Studienrichtungen | Studienrichtung Informationstechnik | Kernmodule (Pflichtmodule) Informationstechnik | Informationstheorie)
12. Elektrotechnik, Elektronik und Informationstechnik (Master of Science): 1-4. Semester
    (Po-Vers. 2010 | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)
13. Elektrotechnik, Elektronik und Informationstechnik (Master of Science)
    (Po-Vers. 2015s | Masterprüfung | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)
14. Informations- und Kommunikationstechnik (Bachelor of Science): 5. Semester
    (Po-Vers. 2009 | Wahlpflichtmodule, Wahlmodule, Seminar, Praktika, Bachelorarbeit | Wahlpflichtmodule aus Katalog für IuK)
15. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Eingebettete Systeme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Eingebettete Systeme)
16. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Kommunikationsnetze | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Kommunikationsnetze)
17. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Multimediasysteme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Multimediasysteme)
18. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Realisierung von Informations- und Kommunikationssystemen | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Realisierung von Informations- und Kommunikationssystemen)
19. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | Schwerpunkte im Masterstudium | Schwerpunkt Übertragung und Mobilkommunikation | Pflichtmodule | Informationstheorie)
20. Mathematik (Bachelor of Science): 5. Semester
    (Po-Vers. 2009 | Nebenfach Informations- und Kommunikationtechnik | Module im 2. und 3. Studienjahr | Informationstheorie)
21. Medizintechnik (Master of Science)
    (Po-Vers. 2011 | Modulgruppen M2 - M8 | Fachrichtung "Medizinische Bild- und Datenverarbeitung" | M3 Ingenieurswissenschaftliche Kernfächer II | Informationstheorie)
22. Medizintechnik (Master of Science)
    (Po-Vers. 2013 | Studienrichtung Medizinische Bild- und Datenverarbeitung | M2 Ingenieurwissenschaftliche Kernmodule (BDV))
23. Wirtschaftsingenieurwesen (Bachelor of Science)
    (Po-Vers. 2007 | PO-Version 2007 | Bachelorprüfung | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul in der Studienrichtung Informations- und Kommunikationssysteme | Informationstheorie)
24. Wirtschaftsingenieurwesen (Bachelor of Science): 4-5. Semester
    (Po-Vers. 2008 | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul | Informationstheorie)
25. Wirtschaftsingenieurwesen (Bachelor of Science): 4-5. Semester
    (Po-Vers. 2009 | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul | Informationstheorie)
26. Wirtschaftsingenieurwesen (Master of Science): 1-2. Semester
    (Po-Vers. 2009 | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | Wahlpflicht- und Vertiefungsmodul Modulgruppe 1 | Wahlpflichtmodul Modulgruppe 1 | Informationstheorie)
27. Wirtschaftsingenieurwesen (Master of Science): 1-2. Semester
    (Po-Vers. 2009 | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | 2.+3. Wahlpflichtmodul | Informationstheorie)

Studien-/Prüfungsleistungen:

Information Theory (Written Exam) (Prüfungsnummer: 36001)

(englischer Titel: Information Theory)

Prüfungsleistung, Klausur, Dauer (in Minuten): 90, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2015, 1. Wdh.: WS 2015/2016, 2. Wdh.: keine Wiederholung

1. Prüfer:

Johannes Huber

Termin: 22.07.2015, 08:00 Uhr, Ort: H 1 NatFak