INFORMATIKAI KAR DOKTORI PROGRAM
SZIGORLATI TEMATIKA

Információelmélet és kódolás



Entrópia, feltételes entrópia. Kölcsönös információ. Az entrópia maximuma, Fano-egyenlõtlenség. Entrópia nem diszkrét rendszerekben.
Felbontható kód, prefix kód, vesszõs kód. A McMillan egyenlõtlenség, és "megfordítása". Huffmann-kód, Shannon-kód, Gilbert-Moore kód.
Információforrások entrópiája. Zajmentes kódolás.
Az entrópiamegmaradás elve. Zajmentes kódolás elõírt hibavalószínûséggel.
A zajos csatorna kódolási tétele
Entrópia nem diszkrét eloszlások esetén.


Irodalom:


Csiszár Imre, Fritz József, Információelmélet, Tankönyvkiadó, Budapest, 1983
Reza, F. M., Információelmélet, Mûszaki Könyvkiadó, Budapest, ???