Informationstheorie (IT)5 ECTS
(englische Bezeichnung: Information Theory)
(Prüfungsordnungsmodul: Informationstheorie)

Lehrveranstaltungen:

• • Informationstheorie
    (Vorlesung, 3 SWS, Johannes Huber, Di, jede 2. Woche Mi, 8:30 - 10:00, H15)
  • Übungen zur Informationstheorie
    (Übung, 1 SWS, Christoph Rachinger, jede 2. Woche Mi, 8:15 - 9:45, H15; ab 22.4.2015)

Inhalt:

• Grundlegende Definitionen

• Codierung für diskrete Informationsquellen

• Informationstheoretische Beschreibung von Übertragungskanälen

• Informationstheoretische Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung

• Kontinuierlich verteilte Zufallsvariablen

• Farbiges Rauschen - Signalverzerrungen

• Mehrbenutzerkommunikation

Lernziele und Kompetenzen:

Die Studierenden erklären das grundlegende Blockschaltbild für die digitale Nachrichtenübertragung. Bei der informationstheoretischen Modellierung und Analyse der Nachrichtenübertragung verwenden sie diskrete gedächtnislose Informationsquellen, gekoppelte Informationsquellen, das Informationsmaß nach Shannon für diskrete Quellen und das Data Processing Theorem. Sie ermitteln den mittleren Informationsgehalt und bestimmen die relative Entropie. Sie erläutern das Informationsmaß nach Hartley für diskrete Quellen und die Problematik diskreter gedächtnisbehafteter Quellen.

Die Studierenden erklären das Quellencodierungstheorem und analysieren verschiedene Quellencodierverfahren, u.a., mit Codewörtern variabler Länge (variable length code, z.B. Huffmann-Code), Blockcodierung für diskrete gedächtnislose Quellen mit Quellenwörtern variabler Länge (Tunstall-Code, Lempel-Ziv) und Blockcodierung für Quellenwörter mit fester Länge.

Die Studierenden bestimmen und analysieren die informationstheoretischen Größen von Übertragungskanälen, insbesondere die Kanalkapazität. Sie untersuchen symmetrische diskrete gedächtnislose Kanäle.

Die Studierenden erläutern die informationstheoretischen Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung. Dabei beschreiben und analysieren Sie Blockcodes und deren (optimale) Decodierung (Maximum-a-posteriori- und Maximum-Likelihood- Decodierung) und analysieren die Umkehrung des Kanalcodierungstheorems. Sie schätzen die Wortfehlerwahrscheinlichkeit bei ML-Decodierung nach Bhattacharyya und die Fehlerwahrscheinlichkeit nach Gallager ab. Sie erklären die heuristische Ableitung des Kanalcodierungstheorems basierend auf typischen Sequenzen.

Die Studierenden analysieren die informationstheoretischen Größen in Szenarien mit kontinuierlich verteilten Zufallsvariablen. Dabei untersuchen sie den gedächtnislosen Kanal mit diskreter Eingangs- und kontinuierlicher reeller Ausgangsvariable sowie den gedächtnislosen Kanal mit kontinuierlichen reellen Ein- und Ausgangsvariablen. Sie bestimmen und analysieren die differentielle Entropie und untersuchen die Kapazität des AWGN-Kanals. Die Studierenden analysieren die Auswirkungen von farbigem Rauschen und Signalverzerrungen auf die Kanalkapazität.

Die Studierenden erläutern die informationstheoretischen Grundlagen der Mehrbenutzerkommunikation. Insbesondere analysieren sie die relevanten Größen von Multiple Access Channel (MAC) und Broadcast Channel (BC).

Als mathematische Hilfsmitteln nutzen die Studierenden die Tschebyscheff'sche Ungleichungen, das schwache Gesetz der großen Zahlen, Eigenschaften von konvexen Funktionen (dabei insbesondere die Jensen’sche Ungleichung), die Optimierung mit Berücksichtigung von Nebenbedingungen (Lagrange’sche Optimierung). Sie analysieren die Bedingungen zur Maximierung der Summenkapazität paralleler Kanäle und erklären die Water-Filling-Regel.

Literatur:

• Huber, J.: Lecture manuscript;

• Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968;

• Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991

Bemerkung:

Vorlesung wird auf Englisch gehalten. Eine deutschsprachige Vorlesung folgt im Simmersemester.

Weitere Informationen:

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:

1. Elektrotechnik, Elektronik und Informationstechnik (Master of Science)
   (Po-Vers. 2015s | Masterprüfung | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Informationstheorie)

Studien-/Prüfungsleistungen:

Information Theory (Written Exam) (Prüfungsnummer: 36001)

(englischer Titel: Information Theory)

Prüfungsleistung, Klausur, Dauer (in Minuten): 90, benotet

Anteil an der Berechnung der Modulnote: 100.0 %

Erstablegung: SS 2015, 1. Wdh.: WS 2015/2016, 2. Wdh.: keine Wiederholung

1. Prüfer:

Johannes Huber

Termin: 22.07.2015, 08:00 Uhr, Ort: H 1 NatFak