Cvičení 3

Témata:

1. Entropie a informace
2. Průměrná délka a redundance kódu
3. Jednoznačná dekódovatelnsot a její testování

Opakování a entropie

Zopakovali jsme si pravděpodobnostní a Markovův model na příkladu. Pro stejná data a odovzené modely jsme si pak spočítali entropie, informaci spojenou se symboly, atd.

Vlastnosti kódu

Vše jsme si ukazovali na následujících kódech:

• C₀ : {A, B, C, D} → {0, 1}, kde C₀(A) = 0, C₀(B) = 0, C₀(C) = 10, C₀(D) = 01;
• C₁ : {A, B, C, D} → {0, 1}, kde C₁(A) = 0, C₁(B) = 01, C₁(C) = 110, C₁(D) = 111;
• C₂ : {A, B, C, D} → {0, 1}, kde C₂(A) = 0, C₂(B) = 10, C₂(C) = 110, C₂(D) = 111;

Průměrná délka a redundance kódu

Spočítali jsme průměrné délky a redundance kódu C₀ až C₂.

Jednoznačná dekódovatelnost

U kódů výše jsme algoritmicky zkontrolovali jejich jednoznačnou dekódovatelnost.