Információforrás információtartalma

Question 1

Információforrás tulajdonságai

Answer 1

• emlékezet nélküli: jel nem függ az előzőektől
• stacionárius: jelek kibocsátási valószínűsége időben állandó

(Q, P) információforrás, Q = {e1, …, eq} és P = {p1, …, pq} pi > 0 ha i = 1, …, q és summa i = 1-qig pi = 1
Annak a valószínűsége, hogy a forrás az ei jelet bocsájtja ki az pi.

Annak a valószínűsége, hogy egy n hosszú w eleme Q* szót bocsájtson ki az p(w) = p(w1) * p(w2) * … * p(wn)

Question 2

Egy jel információtartalma (Shannon)

Answer 2

I: Q-> R+ unió {0}
1. Az információtartalom csak a jelek kibocsájtási valószínűségétől függjön. f:[0, 1] -> R+ unio {0} és w eleme Q I(w) = f (p(w))
2. Az f függvény legyen folytonos
3. Két független szó információtartalma egyezzen meg a külön mért tartalmak összegével. 𝐼 (𝑤 ⋅ 𝑢 ) = 𝐼(𝑤) + 𝐼(𝑢) .
4. Ha p1 = … = pq = 1/q akkor legyen I(e1) = … = I(eq) = 1 azaz f(1/q) = 1

Ha Q = {0, 1} és p1 = p2 = 1/2 akkor I(0) = I(1) = 1 azaz egy jel információtartalma 1 bit.

Question 3

Forrás információtartalma

Answer 3

(Q, P) Forrás információtartalma entrópiája:
H(Q) = - summa e eleme Q p(e) * log(p(e))

|Q| = q ekkor 0 <= H(Q) <= log q és H(Q) = log q akkor p(e) = 1/q minden e eleme Q-ra