Vorlesung 1 Flashcards

Grundlagen und Quellcodierung

1
Q

Definieren sie “Nachricht”

A

Definition: Nachricht
Inkenntnissetzen eines Nachrichtenempfängers von Ideen, Daten, Fakten, aber auch von Lügen und Inhaltslosem, welche(s) dem Nachrichtenempfänger vor der Übermittlung der nachricht (lat. a-priori) nocht nicht oder schon bekannt waren.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Definieren Sie “Information”

A

Definition: Information
Inkenntnissetzen eines Nachrichtenempfängers von Ideen, Daten, Fakten, die dem Nachrichtenempfänger a-priori noch nicht bekannt waren.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Was bedeutet a-priori?

A

Zustand vor einer
Aktion. Bezüglich KNT wäre es der Zustand vor erhalt einer Nachricht oder Information.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wie modelliert man die Generierung von Nachrichten?

A

Modellierung der Generierung von Nachrichten bzw. Informationen erfolgt mittels Zufallsexperiment (Ergebnis ist a-priori nicht bekannt).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Was sind Beobachter von Zufallsexperimenten ?

A

Nachrichten- bzw. Informationsempfänger werden Beobachter genannt. Da etwaige Modelle auf Zufallsexperimenten basieren sind sie Beobachter dieser.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Ist Information objektiv messbar?

A

Im Sinne der Informationstheorie ja, aber hinsichtlich der Wirkung auf den Empfänger nicht.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Ist Information etwas Materielles?

A

Dies ist nicht bekannt aber in der Informationstheorie werden Informationen an Representanten gebunden, die wiederum gebunden an Energie bzw. Materie sind. Dies gilt ebenfalls für Informationsübertragung und ist in der Informationstheorie eindeutig.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Definieren Sie Kommunikation

A

Definition: Kommunikation
Den Austausch von Nachrichten (Informationen) zwischen zwei ider mehreren Teilnehmern nennt man Kommunikation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Was ist primäre und sekundäre Repräsentation von Informationen?

A

Primäre Repräsentation von Infromationen sind Symbole über deren Bedeutung bei den Teilnehmer der Kommunikation Einvernehmen besteht und nicht weiter teilbar also atmoar sind. Sekundäre Repräsentation inhingegen sind Sequenzen Primärerer Representation.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Definieren Sie “Code”

A

Definition: Code
Menge der zur Repräsentation von Nachrichten verwendeten Wörtern über einen Symbolalphabet, die unter den Teilnehmern des Kommunikationsvorgangs vereinbart ist.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was bedeutet “weitschweifige Repräsentation”?

A

Werden im Mittel mehr Symbole zur Repäsentation von Nachrichten verwendet als für eine umkehrbar Eindeutige Abbildung notwendig wären, liegt eine weitschweifige Repräsentation vor.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wo kommt Redundanz vor und welcher Vorteil kann genutzt werden?

A

Nachrichten enthalten oftmals neben der Eigentlichen Information auch Redundanz. Redundanz kann als mittel der error detection genutzt werden. Um dies aber zu ermöglichen muss zunächst der stochastische Redundante Anteil gefiltert und dann mit einer berechenbaren Redundanten Anteil ersetzt werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was bedeutet Quellcodierung?

A

Quellcodierung verringert die Redundanz in einer Nachricht. Stichwort Datenkompression. Bei verlustfreier Quellcodierung ist die Nachricht am Ausgang identisch mit der am Eingang. Bei verlustbehafteter Quellcodierung hingegen nicht. Sofern die Fehlertolertanz aktzeptabel ist wird beim Empfänger keinen oder einen geringen Unterschied wahrgenommen (z.B. mp3, MPEG-4, H.264).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was bedeutet Kanalcodierung?

A

Die Kanalcodierung ersetzt den stochastischen Redundanten Anteil einer Nachricht mit einem strukturierten Redundanten Anteil. So wird sicher gestellt das die Redundanz optimal zur error detection (z.B. CRC) und error correction (z.B. Viterbi-Decoder) oder zur error correction and detection (z.B. Reed-Solomon Codec) genutzt werden kann. Kanalcodierung kann auch in sich geschachtelt werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist die Masßeinheit für die Information und wie wird diese dargestellt?

A

Formel:
I = -log2(Pr(Q=q)) [bit/Symbol]
Definition:
Symbole einer Ereignismenge Q mit M-wertigen diskreter Informationsquelle deren Symbole statistisch unabhängig also deren Informationsquelle gedächtnislos ist. Beobachtet ein Empfänger nun das Symbol Q = q so gibt das Informationsmaß I den Wert der Information an.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was ist die Entropie einer gedächnislosen Informationsquelle?

A

Formel:
H(Q) = summe von i=1 bis M (Pr(Q=q i) * I_i)
Definition:
Die Entropie ist das Maß des mittleren Informationsgehalts je Symbol und ist die untere Schranke der durchschnittlichen Codewortlänge. Es gilt 0 <= H(Q) <=log2(M)
Allgemeines maximum bei gleich verteilten Symbolen H(Q) = 1. Bei gedächtnisbehafteten Inforamtionsquellen reduziert das Gedächtnis die Entropie.

17
Q

Wie sieht im allgemeinen ein Modell für eine Informationsquelle (unabhängiger und gleichwahrscheinlicher binärer Zufallsprozess) aus?

A

Der Eingang eines realen Nachrichtenempfängers ist beschränkt in Wertebereich, Auflösung und Frequenzbereich. Jede Informationsquelle kann als zeit- und wertdiskrete Quelle modelliert werden.
- Quellcodierung filtert Redundanz in Information.
- Wandlung in Binäralpahbet ist verlustfrei möglich
- Indeale Informationsqelle hat die maximale Entropie
- Gedächnis zwischen den Symbolen reduziert die Entropie
- Bei Gleichverteilung der Symbole wird maximale Entropie ereicht. H(Q) = log2(M)
- Information ist dem Empfänger a-priori noch nicht bekannt.
- Empfänger beobachtet einen Zufallsprozess

18
Q

Beschreibe die Quellcodierung nach Huffman

A

Eine optimale Codierung für diskrete gedächtnislose Quellen mit variabler Wortlänge wird durch ein Binärbaum realisiert.

Geg: Gedächtnislose Quelle mit M Symbolen und a-priori Wahrscheinlichkeiten Pr(X=x_i)

Ges: Präfisfreier binärer Code mit minimaler Codewortlänge zur Darstellung der Symbole

Der Baum hat immer M - 2 Zwischenknoten (Ein Eingang und zwei Ausgänge). Nun wird der Baum von den Blätters bis zur Wurzel so aufgebaut das die zwei minimalsten Wahrscheinlichen Ereignisse zu einem Knoten zusammengefasst werden. Dies wird solange wiederholt bis die Wurzel mit 100% Wahrscheinlichkeit erreicht wird. Der Code ist nun präfisfrei -> Codewörter können ohne Trennzeichen aneinandergehängt werden.

19
Q

Wie wird die Durchschnittliche Wortlänge berechnet?

A

N = summe von i = 1 bis M (Pr(X=x_i) * n_i)
N = durschnittliche Wortlänge
n = Bitlänge des jeweiligen Ereignisses

Die durchsch. Wortlänge kann auch durch die Summe aller Zwischenknoten des Binärbaums berechnet werden.

20
Q

Gebe die Formeln zur effizienteren Übertragunsrate und zu prozentual gewonnener Übertragung in % an.

A

(momentane Übertragungsrate) /(Anzahl der Bits für Symbole) * N Bit/s

1 - (Ausgangsdatenrate) / (Eingangsdatenrate)