Markov zanjirlari

2-ta’rif. Agar ixtiyoriy chekli Borel funksiya va tengsizlikni qanoatlantiruvchi vaqt momenti uchun
(2)
bo’lsa, u holda tasodifiy jarayon Markov jarayon deyiladi.
Ta’rifga ko'ra,
(3)
va bu funksiya uzluksiz, ya’ni uni
;
ko’rinishda ifodalash mumkin bo’lsin.
funksiya jarayonning o’tish funksiyasi (yoki ehtimoli), esa o’tish zichligi deyiladi.
1-teorema. Agar Markov jarayoni bo’lsa, u holda
(4)
. (5)
Isbot. Markov zanjiri bo’lgani sababli, uchun






ya’ni (4) tenglik isbotlandi. (5) tenglik ham shu kabi isbotlanadi.
(4) va (5) tenglamalar Kolmogorov-Chepmen tenglamalari deyiladi.
Endi (3) shartni qanoatlantiruvchi Markov jarayoni mavjud bo’lishi uchun funksiya qanday xossalarga ega bo’lishi kerakligini aniqlaymiz.
3-ta’rif. o’lchovli fazo bo’lsin. Agar funksiya quyidagi shartlarni qanoatlantirsa:

1. 
   B ning funksiya deb qaralgan har bir da ehtimollilik taqsimotidan iborat;
   
2. 
   har qanday va uchun ga nisbatan o’lchovli;
   
3. 
   da ixtiyoriy va uchun (4) tenglik o’rinli;
   
4. 
   Agar bo’lsa, u holda , bu yerda
   

u o’tish funksiya deb ataladi.
Bu ta’rifdan 1- va 2- xossalar funksiyani shartli taqsimot ekanini asoslaydi.
Endi boshlang’ich shartni qanoatlantiruvchi qandaydir jarayonni chekli o’lchovli taqsimotlarini funksiya yordamida ushbu

(6)
formula orqali ifodalaymiz.
3- va 4- xossalardan bu chekli o’lchovli taqsimotlarning moslanganligi kelib chiqadi va shuning uchun ham ular Kolmogorov teoremasig ko’ra, jarayonni to’la aniqlaydi. (6) formula (2) ga ko’ra

Demak, 2-ta’rifga ko’ra biz

shuni qaoatlantiruvchi Markov jarayonini qurdik.
Agar tenglik bajarilsa, u holda bir jinsli Markov zanjiri deyiladi va bunda o’tish ehtimolini qisqalik uchun ko’rinishda yoziladi.
Bir jinsli Markov jarayonlari uchun Kalmogorov-Chepman tenglamasi soddalashadi:

Markov jarayonining chekli o’lchovli taqsimotlarini topish uchun uning o’tish ehtimollari va biror boshlalang’ich momentdagi bir o’lchovli taqsimotlarini bilish yetarli, chunki to’la ehtimol formulasi va Markov xossasini ishlatib,


tenglikni hosil qilamiz, bu yerda .