Texnologiyalari va kommunikatsiyalarni rivojlantirish vazirligi muhammad al-xorazmiy nomidagi

P(x i )= m/1 i=1,.., m,
Ma'lumotning entropiyasi (N(x)): ga teng bo'ladi.

ga teng bo'ladi.

Agar kodlash uchun k asosli raqamli koddan foydalanilgan bo'lsa (kod simvollari elementlari alfavitining hajmi k ga teng) va bunda kod simvollari elementlarining entropiyasi simvol elementlarining paydo bo'lish ehtimolligi bir xil va ular o'zaro mustaqil bo'lish sharti bajarilganida quyidagi formula orqali hisoblanadi:

Shovqinsiz aloqa kanallari orqali uzatiladigan ma'lumotlarni samarali kodlashtirish Shennon teoremasiga asoslanadi:

Agar ma'lumot manbaining entropiyasi N [bit/simvol] ga va aloqa

kanalining uzatish qobiliyati S [bit/sek] ga (aloqa kanalining uzatish qobiliyati deganda, uning eng maksimal ma'lumot uzatish tezligini ta'minlashi tushuniladi) teng bo'lsa, har doim shunday kodlash usulini topish mumkinki, kanalda ma'lumot uzatish tezligining o'rtacha qiymati ushbu formula negizida hisoblangan tezlikga teng bo'ladi: