Amaliy matematika” yo‘nalishi 21. 08-guruh talabasi Mamasodiqova Mubina Sattorali qizining

Ko'p qatlamli neyron to'rlarining turli sxemalari.

Neyron tarmoqlarning har xil turlari orasida biz ko'p tadqiqotlarimizni jamlaganlar Rosenblatt perseptronlari bo'lib, ular ko'p qatlamli oldinga uzatiladigan neyron tarmoqlari sifatida ham tanilgan. Ushbu tarmoqlarda kirish birliklari qatlami mavjud bo'lib , ularning yagona roli tarmoqning qolgan qismiga kirish naqshlarini etkazib berishdir. Keyinchalik, bir yoki bir nechta oraliq yoki yashirin neyron qatlamlari mavjud bo'lib, ular kiritilgan ma'lumotlarning vaznli yig'indisining bir xil funktsiyasini baholaydilar, bu esa o'z navbatida uni keyingi qatlamdagi birliklarga yuboradi. Bu jarayon yakuniy yoki chiqish darajasiga erishilgunga qadar davom etadi, bu esa hisoblashni o'qishga imkon beradi.

1.1-rasm: Neyronning sxematik chizmasi.
Sinfida neyrondan oldingi qatlamlardagi birliklarga yoki keyingi qo'shni darajadan uzoqroq neyronlarga olib boradigan ulanishlar mavjud emas, ya'ni har bir birlik faqat keyingi qatlamda mavjud bo'lganlarni ta'minlaydi.

-rasm: Ko'p qatlamli neyron tarmog'ining holatlari, og'irliklari va chegaralarining sxematik ko'rinishi.
Biz barcha neyronlarni to'g'ri tartibda yangilaganimizdan so'ng, ular o'z holatini o'zgartirmaydi, ya'ni bu arxitekturalar uchun vaqt hech qanday rol o'ynamaydi.
n _{1 ta} kirish birligi, bitta yashirin qatlamda n _{ta 2 ta yashirin birlik va} n ta _{3 ta chiqishga} ega uch qavatli perseptronni tasvirladik . Tarmoqqa kirish vektori kiritilganda , yashirin neyronlarning holati qiymatlarni oladi.
, (1.3)
Tarmoqning chiqishi esa komponentlari berilgan z vektoridir
. (1.4)
faollashtirish funksiyasi har qanday ixtiyoriy g funksiya bo'lishi mumkin, deb taxmin qildik , lekin [0 , 1] oralig'ida yoki [−1 , 1] oralig'ida faqat cheklanganlar bilan ishlash odatiy holdir. Agar bu uzatish funksiyasi tenglamaning D bosqichli funksiyasi ko'rinishida bo'lsa. (1.2) faollashuv diskret deb aytiladi , chunki neyronlarning holatlari cheklangan miqdordagi turli mumkin bo'lgan qiymatlardan birida bo'lishga majbur bo'ladi. Aks holda, tez-tez ishlatiladigan doimiy faollashtirish funktsiyalari sigmasimon yoki Fermi funktsiyalari hisoblanadi
1
g ( h ) ≡ , (1,5)
1 + e − bh
g ( h ) = D( h ) ni qanoatlantiradi . (1.6) ^b →∞
Statistik mexanika terminologiyasida b parametr haroratga teskari parametr sifatida qaraladi. Biroq, amaliy ilovalar uchun biz b = 1 ni o'rnatamiz .
Umuman olganda, agar bizda mos ravishda n ₁ ,...,n _{L birliklari bo'lgan} L qatlamlari bo'lsa , ko'p qatlamli perseptronning holati rekursiv munosabatlar orqali o'rnatiladi.
(1.7)
bu yerda --chi qavatdagi neyronlarning holatini , ( -1)-chi va --chi qatlamlardagi birliklar orasidagi og'irliklarni va --chi qavatdagi i - birlik ostonasini ifodalaydi . Keyin, kirish vektor p ⁽¹⁾ va chiqish p ^{( L )} (1.3-rasmga qarang).
Oddiy perseptron deganda faqat ikkita qatlamli, kirish va chiqish, ichki birliklarsiz, oraliq qatlamlar yo'qligi ma'nosida va bosqichli faollashtirish funksiyasi (1.2) bo'lgan tarmoqlar tushuniladi. Ushbu qurilmalar XOR muammosi kabi cheklovlarga ega ekanligi aniqlangan, ular yashirin qatlamlari mavjud bo'lgan oldinga uzatish tarmoqlarida ko'rinmaydi. Darhaqiqat, bitta yashirin qatlamli tarmoq har qanday mantiqiy funktsiyani ifodalashi mumkinligi isbotlangan.
Ko'p qatlamli neyron tarmoqlari deyiladi , ularda neyronlar qatlamlarga guruhlanadi. Bunday holda, oldingi qatlamning har bir neyroni keyingi qatlamning barcha neyronlari bilan bog'langan va qatlamlar ichida neyronlar o'rtasida hech qanday aloqa mavjud emas.

Qatlamlar chapdan o'ngga raqamlangan. Birinchi qatlam kirish yoki tarqatish qatlami deb ataladi. Uning neyronlari ( kirish deb ham ataladi ) xususiyat vektorining elementlarini oladi va ularni keyingi qatlamning neyronlariga tarqatadi. Bunday holda, kirish qatlamida ma'lumotlarni qayta ishlash amalga oshirilmaydi.

Oxirgi qatlam chiqish qatlami deb ataladi. Uning neyronlarining chiqishlarida (ular deyiladi chiqish ), tarmoqning natijasi hosil bo'ladi - chiqish vektorining elementlari.

Kirish va chiqish qatlamlari o'rtasida bir yoki bir nechta oraliq yoki yashirin qatlamlar mavjud. Ular yashirin deb ataladi, chunki ularning kirish va chiqishlari neyron tarmoqdan tashqaridagi dasturlarga va foydalanuvchiga noma'lum.

Nazorat ostida o'rganish ko'p qatlamli neyron tarmoqlarni o'rgatish uchun ishlatiladi . Ular uchun eng mashhur o'rganish algoritmi - bu orqaga tarqalish algoritmi va uning navlari.

Hozirgi vaqtda neyron tarmoqlarning ko'p qatlamli arxitekturasi eng ommabop va yaxshi rivojlangan. Ko'p qatlamli neyron tarmoq deyarli har qanday murakkablikdagi funktsiyani modellashtirishi mumkin, bunda qatlamlar soni va har bir qatlamdagi neyronlar soni funktsiyaning murakkabligini belgilaydi.

Loginom-da tasniflash va regressiya muammosini hal qiladigan ikkita protsessor mavjud - Neyron tarmoq (tasniflash) va Neyron tarmoq (regressiya) .

Haqiqiy biznes muammolari neyron tarmoqlar yordamida amalda qanday hal qilinishini “Gaz ta’minoti ob’ektlarida baxtsiz hodisalarni bashorat qilish va yo‘qotishlarni aniqlash” veb-seminarida bilib olishingiz mumkin. Vebinar" . Norilskgeologiya misolida esa katta geologik ma'lumotlarni qayta ishlash uchun neyron tarmoq texnologiyalaridan qanday foydalanilishi tasvirlangan.

Yorliqli ta'lim misollariga kirishimiz mumkin bo'lgan nazorat ostidagi o'quv muammosini ko'rib chiqing(x(i),y(i)). Neyron tarmoqlar gipotezalarning murakkab, chiziqli bo'lmagan shaklini aniqlash usulini beradihV,b(x), parametrlari bilanV,bma'lumotlarimizga mos kelishimiz uchun.
Neyron tarmoqlarni tavsiflash uchun biz eng oddiy neyron tarmoqni tasvirlashdan boshlaymiz, u bitta "neyron" ni o'z ichiga oladi. Bitta neyronni belgilash uchun quyidagi diagrammadan foydalanamiz:

Ushbu "neyron" kirish sifatida qabul qiluvchi hisoblash birligidirx1,x2,x3(va +1 kesishish atamasi) va natijalarhV,b(x)=f(VTx)=f(∑3i=1Vixi+b), qayerdaf:ℜ↦ℜfaollashtirish funksiyasi deb ataladi . Ushbu eslatmalarda biz tanlaymizf(⋅)sigmasimon funktsiya bo'lishi kerak: