|
1.2. O'zbek krill alifbosi chastotasi va avfzalliklari
Maqsad, a1, a2, ..., an} alifbosi harflaridan tashkil topgan T=t1t2…tl yetarlicha uzunlikdagi ochiq matnlarda har bir nm mumkin boʻlgan m-grammlar sonini sanashdan iborat. Shu bilan birga, matnning ketma-ket m-grammlari ko'rib chiqiladi:
t1t2...tm, t2t3... tm+1, ..., ti-m+1tl-m+2...tl.
Agar m-gramm ai1ai2...matndagi T va L sanalgan m-grammlarning umumiy soni bo‘lsa, tajriba shuni ko‘rsatadiki, etarlicha katta L uchun chastotalar.
berilgan m-gramm uchun bir-biridan ozgina farq qiladi.Shu sababli, nisbiy chastota tasodifiy tanlangan joyida berilgan m-grammning paydo bo'lish ehtimoli P (ai1ai2... maqsadi) ning yaqinlashishi hisoblanadi (bu yondashuv statistik ma'lumotlarda qabul qilingan.( ehtimollikni aniqlash).Quyida bir
Masalan, texnik matnlarda funksiya, differensial, diffuziya, koeffitsient kabi so'zlarning tez-tez qo'llanilishi tufayli kam uchraydigan F harfi juda keng tarqalgan bo'lishi mumkin. Ayrim harflardan foydalanish chastotasida me’yordan ham kattaroq chetlanishlar ayrim badiiy asarlarda, ayniqsa, she’riyatda kuzatiladi. Shuning uchun, harflarning o'rtacha chastotasini ishonchli aniqlash uchun turli manbalardan olingan turli xil matnlar to'plamiga ega bo'lish maqsadga muvofiqdir.
qator Yevropa tillarining harf chastotalari jadvali (foiz sifatida) keltirilgan.
4-rasm.Yevropa harf chastotalar jadvali
Turli manbalarda keltirilgan jadvallardagi chastota qiymatlaridagi ba'zi farqlar chastotalar nafaqat matn uzunligiga, balki uning tabiatiga ham sezilarli darajada bog'liqligi bilan izohlanadi. Masalan, texnik matnlarda funksiya, differensial, diffuziya, koeffitsient kabi so'zlarning tez-tez qo'llanilishi tufayli kam uchraydigan F harfi juda keng tarqalgan bo'lishi mumkin. Ayrim harflardan foydalanish chastotasida me’yordan ham kattaroq chetlanishlar ayrim badiiy asarlarda, ayniqsa, she’riyatda kuzatiladi. Shuning uchun, harflarning o'rtacha chastotasini ishonchli aniqlash uchun turli manbalardan olingan turli xil matnlar to'plamiga ega bo'lish maqsadga muvofiqdir. Biroq, qoida tariqasida, bunday og'ishlar ahamiyatsiz va birinchi yaqinlashuvda ularni e'tiborsiz qoldirish mumkin.
Harflar chastotalarining vizual tasviri chastota diagrammasi bilan berilgan. Shunday qilib, ingliz tili uchun, jadvalga muvofiq, bunday diagramma 1-rasmda ko'rsatilgan. Uni qurish uchun biz STATISTICA tizimidan foydalandik=.
Rus tili uchun E c Yo, b ' bilan aniqlangan va so'zlar orasida bo'sh joy (-) belgisi mavjud bo'lgan alifbo belgilarining chastotalari (kamayish tartibida) quyidagi jadvalda keltirilgan. Jadvalga asoslanib, biz quyidagi chastota diagrammasini olamiz Jadvalga asoslanib, biz quyidagi
5-rasm.Chastota diagrammasi
hastota diagrammasini olamiz us alifbosining eng tez-tez uchraydigan o'nta harfini eslab qolish uchun mnemonik qoida mavjud. Bu harflar HAYVALITRE absurd so'zini tashkil qiladi. Shuningdek, siz o’zbek tilining tez-tez harflarini yodlashning shunga o'xshash usulini taklif qilishingiz mumkin, masalan, TETRIS-HONDA so'zidan
Французский язык
|
E, S, A, N, T, I, R, U, L, O
|
79.9%
|
Немецкий язык
|
E, N, I, S, T, A, H, D, U
|
77.2%
|
Английский язык
|
E, T, A, I, N, R, O, S, H, D
|
75.3%
|
Испанский язык
|
E, A, O, S, I, R, N, L, D, C
|
78.3%
|
O’zbek tili
|
I, E, A, O, N, T, R, L, S, T
|
79.9%
|
Bigramlar, trigramlar va to'rt gramm mazmunli matnlarning chastotali xarakteristikalari ham barqaror.
.
Yaxshi k-gramm diagrammalarini ko'plab CD-ROM kitoblarining elektron versiyalari matnlaridan foydalanib olish oson.
To'g'ri matnlar haqida aniqroq ma'lumotga ega bo'lish uchun k>2 uchun k-gramm jadvallarini tuzish va tahlil qilish mumkin, ammo ta'lim maqsadlarida diagrammalar bilan cheklanish etarli. K-grammlarning (va hatto so'zlarning) tartibsizligi oddiy matnning o'ziga xos xususiyati bilan chambarchas bog'liq - unda matnning alohida qismlari: ildizlar, oxirlar, qo'shimchalar, so'zlar va iboralarning ko'p sonli takrorlanishi mavjudligi.
Foydali ma'lumotlar harflarning mosligi haqida, ya'ni harflarning bir-biri bilan afzal aloqalari haqida, uni diagrammalarning chastota jadvallaridan olish oson.
Bu eng ko'p afzal qilingan "qo'shnilar" har bir harfning chap va o'ng tomonida joylashgan jadvalga ishora qiladi (tegishli bigrammalarning chastotasining kamayish tartibida). Bunday jadvallar odatda berilgan harfdan oldin (yoki undan keyin) keladigan unli va undoshlarning foizini ham ko'rsatadi. Ularning ochilishga qarshiligi boshqa o'tmishdoshlariga qaraganda ancha yuqori bo'ldi .
Rus tilidagi harflarning mosligi:
6-rasm. Unli va undosh tovushlarning almashinish chastotasi
Harflarning bir-biriga mos kelishini tahlil qilganda, oddiy matndagi harflarning ko'rinishi oldingi harflarning sezilarli soniga bog'liqligini yodda tutish kerak. Ushbu naqshlarni tahlil qilish uchun shartli ehtimollik tushunchasidan foydalaniladi.
To'g'ri matnlar bo'yicha kuzatishlar shuni ko'rsatadiki, tengsizliklar p(ai1)≠p(ai1/ai2), p(ai1/ai2)≠p(ai1/ai2ai3),.... Mashhur rus matematigi
A. Markov (1856 - 1922) oddiy matndagi alifbo harflarining oldingi harflarga bog'liqligi masalasini tizimli ravishda o'rganib chiqdi. U ochiq matnda harflarning kelishini bir-biridan mustaqil deb hisoblash mumkin emasligini isbotladi. Shu munosabat bilan A. A. Markov unlilar va undoshlarning almashinishi bilan bog'liq bo'lgan ochiq matnlarning yana bir barqaror naqshini qayd etdi. U rus tilidagi matnda unli-unli (r, r), unli-undosh (r, s), undosh-unli (s, r), undosh-undosh (s, s) shaklidagi diagrammalarning paydo bo'lish chastotasini hisoblab chiqdi. 105 belgi uzunligi. Hisoblash natijalari quyidagi jadvalda keltirilgan:
Do'stlaringiz bilan baham: |
