Informatsiooniteooria
Allikas: Vikipeedia
| Vajab toimetamist. |
Informatsiooniteooria on matemaatika haru, mis tegeleb informatsiooni kvantifitseerimisega. Informatsiooniteooria alla kuuluvad sellised teemad, nagu näiteks informatsiooni entroopia, kommunikatsioonisüsteemid, krüptograafia, andmete pakkimine, veakorrektsioon, jne. Informatsiooniteooria valdkonda ei kuulu raamatukogundus ja infotehnoloogia.
Kaasaegse informatsiooniteooria leiutas Claude Shannon oma 1948 aastal avaldatud artiklis A Mathematical Theory of Communications.
Tema järgi on informatsiooniks ainult need sõnumid, mille esinemist ei saa vastuvõtja ette ennustada. Teates leiduva info hulk võrdne nende bittide minimaalse hulgaga, mida läheb vaja teate kõikvõimalike väärtuste kodeerimiseks. Seda eeldades, et kõik teated on võrdse tõenäosusega. Näiteks andmebaasis läheb nädalapäevade tähistamiseks vaja kolme bitti:
- 000 = esmaspäev
- 001 = teisipäev
- 010 = kolmapäev
- 011 = neljapäev
- 100 = reede
- 110 = laupäev
- 101 = pühapäev
- 111 = seda ei kasutata
Kui seda kõike esitada tavaliste tähejadade abil, siis läheb nende säilitamiseks rohkem ruumi, kuid rohkem infot need ei sisaldaks.
Formaalselt mõõdetakse teates M sisalduva info hulka selle entroopiaga H(M). Üldjuhul sõnumi entroopia (bittides)
- H(M) = log2n,
kus n on sõnumi võimalike väärtuste arv. Seejuures eeldatakse kõikide väärtuste puhul nende esinemise võrdset tõenäosust.
[redigeeri] Välislingid
- David MacKay Information Theory, Inference and Learning Algorithms.