Axborotni dekodlash usullari. Kodlash va dekodlash nima? Ga misollar

Misol
A = (a, b) d = (0,1)
a: 0, Z> -> 01> - prefiks emas, ajratilishi mumkin.
Teorema (ajralishning zaruriy sharti)
haqida: - ^ B gacha> "= 1 - ajraladigan, u holda quyidagi tengsizlik bajariladi: 
Gap to'g'ri emas!!!
Teorema
Agar raqamlar uchun /, ..., 1 t tengsizlik o'rinli bo'lsa, u holda ajratiladigan alifbo tartibida kodlash sxemasi mavjud o: b k> “= 1, qaerda V= (0,1) shunday
IPJ = K 'k = 1' t
Misol
1. a: a - " 0, b- "01> - prefiks emas, ajratilishi mumkin.
Teorema bo'yicha quyidagi tengsizlik amal qiladi: 
2. a: 0,6- "1> - ajraladigan, chunki. 
Agar tengsizlik qondirilmasa, sxema ajratilmaydi.
Agar tengsizlik o'rinli bo'lsa, unda kontaktlarning zanglashiga olib bo'linishi haqida hech narsa aytish mumkin emas.
Xabar kodi uzunligini minimallashtirish
Eng kichik uzunlikdagi kodlarni qurish muammosini ko'rib chiqing. Buning uchun xabarlar to'plami haqida qo'shimcha ma'lumotlardan foydalaniladi. S, masalan, A alifbosi harflarining ehtimollik taqsimoti
Shubhasiz:
Alfavit kodlash sxemasi bo'lsa o: ajratish mumkin, keyin elementar kodlar to'plamini almashtirish yo'li bilan olingan har qanday "a" sxemasi ham ajratilishi mumkin.
Agar barcha elementar kodlarning uzunligi teng bo'lsa, elementar kodlarni almashtirish hech qanday xabarning kod uzunligini o'zgartirmaydi.
Agar elementar kodlarning uzunligi har xil bo'lsa, u holda xabar kodining uzunligi xabardagi harflar tarkibiga va qaysi elementar kodlar qaysi harflarga tayinlanganiga bog'liq.
vektor berilgan bo'lsin p = (p i, ..., p m) xabardagi harflarning ehtimollik taqsimoti va p x> p 2> ...> p t> 0 (o'sish tartibida emas).
Alifbo tartibida kodlash sxemasi berilsin o: b k> “= 1. Keling, ushbu sxema uchun xabar uzunligini oshirish koeffitsientining matematik taxminini yoki bitta belgi kodining o'rtacha uzunligini aniqlaymiz:

qaysi deyiladi ehtimollik taqsimoti uchun a alifbo kodlashning o'rtacha narxi (uzunligi).
Barcha elementar kodlarning uzunligi teng bo'lgan alfavit kodlash sxemasi deyiladi forma.
Minimal kod uzunligi har bir harf, ajratilishi shart, tengdir

Yagona kodlash uchun o'rtacha kodlash narxi

L (p) - minimal uzunlik ehtimollik taqsimotida ajratiladigan alifbo kodlash sxemasi R.

O'rtacha uzunligi cheklangan sondan / 0 dan oshmaydigan alifbo kodlash sxemalari orasida minimal uzunlikdagi sxema mavjud a "( R), buning uchun / „. (/>) = inf /„ (/>).
Bunday sxema * ( R) chaqirdi minimal ortiqcha kodlash yoki ehtimollik taqsimoti uchun optimal kodlash p.
Optimal kodlash xususiyatlari
1. Optimal kodlash sxemasi st bo'lsin.
Keyin 
Isbot (qarama-qarshilik bilan)
Bu mulk buzilgan bo'lsin, ya'ni. p t> Pj& | (3, |> | p y |).
a / kodlarni almashtirish orqali a dan olingan (3, ... va p y, ya'ni a /: a j-" RU; a)-" R (..
Keyin 
Bizda bu bilan qarama-qarshilik bor a,- optimal kodlash sxemasi.
2. a, optimal kodlash sxemasi bo'lsin.
Keyin, maksimal uzunlikdagi elementar kodlar orasida faqat oxirgi bitda farq qiladigan ikkitasi mavjud.
3. stG 1 bo'lsin : -> p L> "" / - optimal kodlash sxemasi. p.p> p 2> ...> p t _> 0, Pj = q x + q 2, qayerda p t _ x> q x> q 2> 0.
Keyin alifbo tartibida kodlash sxemasi
ehtimollik taqsimoti uchun optimal hisoblanadi

O'z-o'zini tuzatish kodlari
Siqilishga qarshi kod
Interferentsiya manbasini o'z ichiga olgan aloqa kanali C bo'lsin.
Kodlash F chaqirdi tiqilib qolishga qarshi, yoki bilan kodlash xatoliklar tuzatildi, yoki o'z-o'zini tuzatish, agar quyidagi shart bajarilsa:
qayerda S bilan A *, KgB A = V = {0,1}.