Markov zanjirlari

boshlang’ich taqsimot deyiladi. Agar funksiya ga bog’liq bo’lmasa, u holda Markov zanjiriga nisbatan bir jinsli deyiladi. Holatlar to’plami bo’lgan vaqtga nisbatanbir jnsli Markov zanjiri uchun (7) formula

(9)
ko’rinishni oladi. Holatlar to’plami bo’lgan vaqt bo’yicha bir jinsli Markov zanjiri trayektoriyalarining taqsimotlari ta parametrlar

va o’tish ehtimollari bilan aniqlanadi. ni Sistema bir qadamda - holatdan - holatga o’tish ehtimolo deb talqin qilish mumkin.
O’tish ehtimollari matritsani hosil qiladi.
O’tish matritsaning barcha elementlari nomanfiy, har bir satrdagi elementlar yig’indisi birga teng. Bunday matritsalar stoxastik matritsalar deyiladi.Barcha satrlarining eementlari yig’indisi birdan oshmaydigan va elementlari nomanfiy bo’lgan matritsa esa yarim stoxastik matritsa deyiladi. Harbir ustun elementlaring yig’indisi ham bir bo’lgan stoxastik matritsa ikki marta stoxastik matritsa deb ataladi. Vaqt bo’yicha bir jinsli bo’lmagan Markov zanjirlarida o’tish matritsalari ga bog’liq bo’ladi. Sanoqli Markov zanjirlarining o’tish ehtimollari guruhini o’lchovlari cheksiz bo’lgan matritsa shaklida ifodalash mumkin. 1-misol. Butun qiymatlarni qabul qiluvchi bog’liqsiz va bir xil taqsimlangan tasodifiy miqdorlar ketma- ketligi bir jinsli Markov zanjirini hosil qiladi. Bu holda

ya’ni matritsaning har bir satri boshlang’ich taqsimotdan iborat. 2-misol. - bog’liqsiz bir xil taqsimlangan tasodifiy miqdorlar, , va bo’lib, ketma-ketlik
,
formula orqali ifodalangan bo’lsin. ketma-ketlik 0 nuqtada qaytaruvchi ekanligi manfiy bo’lmagan butun sonlar to’plamida tasodifiy daydish deb atalad ketma-ketlik Markov zanjiri hosil qilishini ko’rish qiyin emas. Bu holda , , tengliklar o’rinli bo’gani sababli bu Markov zanjiri

o’tish matritsaga ega. 3-misol. - bog'liqsiz bir xil taqsimlangan nomanfiy butun qiymatlar qabul qiluvchi tasodifiy miqdorlar ketma-ketligi bo’lib, , bo’lsin. U holda deb qabul qilsak. ketma –ketlik bir jinsli sanoqli Markov zanjirini tashkil qiladi. Bu holda o’tish ehtimollari


ko’rinishga ega. Bu misolda o’tish matritsasi

bo’lib uning har bir satri oldingi satrning elementlarini bir raqamga o’ng tomonga surishdan hosil bo’ladi. 4-misol. (Diffuziya uchun Erenfestlar modeli) Fiziklar Paul va Tatyana Erenfest nomi bilan ataluvchi bu model zarrachalarni (bir-biri bilan tutashtirilgan) ikkita idishda ko’rish jarayonida klassik mexanika nuqtai nazaridan qaytariluvchan deb hisoblangan, qaytarilmaydigan o’zgarishlarning (tutashtirilgan idishlarda bosimlarning tenglashishi natijasida) vujudga kelish oqibatlarini tushuntirib berish uchun taqdim etilgan. Ikkita idishda ta zarracha bor bo’lsin. Vaqtning har bir momentida tasodifan va undan oldingilariga bog’liqsiz, ta zarrachalardan bittasi teng imkoniyatli ravishda tanlanadi va u ehtimol bilan o’z idishida qoladi, yoki bo’lmasa ehtimol bilan boshqa idishga o’tkaziladi esa vaqtning momentida birinchi idishdagi zarrachalar soni bo’lsin. U holda bir jinsli Markov zanjirini tashkil qiladi va
,
,
,
tengliklar o’rinli bo’lgani sababli, o’tish matritsasi quyidagi ko’rinishga ega:

Endi qadamda sistemaning holatlari o’zgarishini o’rganamiz. Shu maqsadda qadamda sistema holatdan holatga o’tish ehtimollarini ko’ramiz. - holatlar to’plami va o’tish ehtimollari matritsasi bo’lgan Markov zanjiri bo’lsin. qadamda o’tish ehtimollari , matritsasini va vektorlarni kiritamiz, bu yerda . 2-teorema. O’tish ehtimollari matritsasi bo’lgan bir jinsli Markov zanjirlari uchun ixtiyoriy bo’lganda
, (10)
o’tish ehtimollari matritsasi bo’lgan bir jinsli bo’lmagan Markov zanjirlari uchun esa
;
(11)
tengliklar o’rinli. Isbot. To’la ehimol formulasiga ko’ra, istalgan va ixtiyoriy uchun

tenglik o’rinli, bu yerda matritsaning satridagi elementini bildiradi. Shunday qilib, . Bundan, induksiyaga ko’ra, (10) formula kelib chiqadi. (11) formula ham shu kabi isbotlanadi.
Ixtiyoriy tartibli va stoxastik matritsa bo’ladi. Haqiqatdan ham, ko’paytmaning elementi nomanfiy ekanligi o’z- o’zidan ravshan. Shu bilan birga

ya’ni matritsa ham stoxastik matritsa ekan. Shunday qilib, 2- teoremadagi va matritsalar ham stoxastik.