Ki ” fakulteti 3 – bosqich ki 11-19 guruh talabasining mashinali o’qitishga kirish fanidan tayyorlagan

O’ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XORAZMIY NOMIDAGI TOSHKENT AXBOROT TEXNOLOGIYALARI UNIVERSITETI QARSHI FILIALI

“ KI ” FAKULTETI
3 – BOSQICH KI 11-19 GURUH TALABASINING
MASHINALI O’QITISHGA KIRISH
FANIDAN TAYYORLAGAN

3-MUSTAQIL ISH

Bajardi: Jumaqulov A
Qabul qildi: Davlatova N
QARSHI – 2022

Mavzu: Vaqtli qatorlarni bashoratlashda neyron tarmoq modellari va algoritmlari

Reja:

1. 
   Vaqtli qatorlarni bashoratlashda neyron tarmoq modellari va algoritmlari
   
2. 
   Suniy neyron tarmoqlar modeli
   

100 qadam qoidasi

Massiv parallel ishlov berish zarurati uchun taniqli dalil 100 bosqichli qoidadir.
Biror kishi o'zi tanigan odamni yoki ma'lum ob'ektni psixologlarning o'lchovlariga ko'ra taxminan taxminan suratga olishi mumkin.0,1s0,1s tanib olish, ya'ni o'tish vaqti bilan 1Xonim1Xonim neyronlarning maksimal 100 ta ketma-ket vaqt bosqichida. (Bu erda tanib olish uchun zarur bo'lgan ishlov berish bosqichlarining umumiy soni haqida hech narsa aytilmagan, chunki bu jarayonda ko'p sonli neyronlar parallel ishlaydi).
100 ta ketma-ket ishlov berish bosqichida (masalan, assembler buyruqlari), boshqa tomondan, an'anaviy fon Neuman kompyuteri deyarli hech narsa qila olmaydi.
Kirish
1.1 Motivatsiya
Neyron tarmoqlar dastlab biologiyadan ma'lum. Ular sutemizuvchilarning miyasiga qo'pol o'xshashlikka ega. Sun'iy neyron tarmoqlar axborotni qayta ishlash tizimlaridir. Ular ko'p sonli oddiy birliklardan, ya'ni neyronlardan iborat bo'lib, axborotni faollashtirish shaklini oladi
Neyronlarni yo'naltirilgan, vaznli ulanishlar orqali yuboring. Ular massiv ravishda parallel, moslashuvchan tizimlardir. Neyron tarmoqlar o'quv misollari yordamida vazifani mustaqil ravishda o'rganish imkoniyatiga ega.
Neyron tarmoqni o'rgatishda neyron tarmoqning haqiqiy chiqishi va kerakli natija o'rtasida farq bor. Bu oldingi bilimlarga asoslangan o'quv ma'lumotlarida ma'lum (masalan, oldindan belgilangan naqshlar, tarixiy ma'lumotlar va boshqalar). Shunday qilib, trening yoki tarmoq xatosi mavjud. Bu har doim manfiy bo'lmasligi uchun u odatda Evklid masofasining kvadrati yordamida aniqlanadi (3.1- tenglamaga qarang). Shunday qilib, treningning maqsadi bu xatoni minimallashtirishdir. Sizda cheklovlarsiz optimallashtirish muammosi mavjud.
Cheklanmagan optimallashtirishdan ma'lum bo'lgan va neyron tarmoqlarda foydalanish uchun moslashtirilgan ta'lim uchun bir qator algoritmlar mavjud. Ushbu ishda gradient tushish usuli, kvazi-Nyuton usuli yoki Gauss-Nyuton usulining modifikatsiyasi, Levenberg-Markvardt usuliga mos keladigan ba'zi algoritmlar keltirilgan. Bundan tashqari, global optimallashtirish jarayonlari muhokama qilinadi. Kesish burchagi usuli neyron tarmoqlarga moslashtirilgan. Bundan tashqari, jarima funktsiyasi bilan birga gradient tushish usulidan foydalanishga asoslangan evristik protsedura taqdim etiladi. Shunday qilib, mahalliy minimumga yana erishish mumkin
tark va global erishiladi.
Ba'zi usullar uchun konvergentsiya isboti taqdim etiladi. Bu jarayonlarning barqarorligi ham muhokama qilinadi.
Vaqtga bog'liq bo'lgan turli xil takroriy neyron tarmoqlar taqdim etiladi va ular bilan bog'liq o'quv jarayonlari mos ravishda moslashtiriladi. Ularning barqarorligi uchun shartlar ham ko'rsatilgan. Barqarorlik neyron tarmog'ining chiqishi o'zgarmasligini bildiradi.
Keyin neyron tarmoqlarni minimallashtirish usullari keltirilgan. Bu ahamiyatsiz ulanishlarni yoki neyronlarni yo'q qilishdir.
Neyron tarmoqlardan ko'p jihatdan foydalanish mumkin, masalan, naqshni aniqlash, avtonom transport vositalarini boshqarish, prognozlash. Qo'shimcha mumkin bo'lgan ilovalarni [52] da topish mumkin.
Ushbu ishda yo'l belgilarini aniqlashda neyron tarmog'i naqshni aniqlash uchun amaliy misol sifatida ishlatiladi. Maqsad - neyron tarmoq yaratish va uni tanlangan yo'l belgilari bilan o'rgatish. Shu maqsadda yo'l belgilari tasodifiy generator yordamida 25% gacha shovqinli, bu holda R statistika dasturidan foydalaniladi. Shtutgart neyron tarmoqlari simulyatori neyron tarmoqlarni yaratish va o'qitish uchun ishlatilgan. Tarmoq xatolarini minimallashtirish uchun protseduralar tezligidagi ilgari nazariy jihatdan aniqlangan farqlar aniq ko'rinadi. Keyin tarmoq shovqinli bo'lishi mumkin bo'lgan ushbu yo'l belgilarini taniy olishi kerak. Keyin yana bir yo'l belgisini neyron tarmoqda qanday o'rgatish mumkinligi ko'rsatiladi.
Tadqiqot
Neyron tarmoqlarning biokimyoviy va fiziologik xususiyatlarini o'rganish neyrofiziologiyaning predmeti hisoblanadi.
Neyroinformatikada sun'iy neyron tarmoqlar yordamida kompyuter yordamida neyron tarmoqlarini simulyatsiya qilishga yoki neyron tarmoqlarning xususiyatlarini dasturiy ta'minot uchun foydalanishga yaroqli qilishga urinishlar amalga oshiriladi.
Neyron tarmoqlarning kontseptual abstraksiyasi nazariy biologiyada ham sodir bo'ladi.
Xususan, hisoblash nevrologiyasida biologik sharoitlardan turli darajadagi abstraksiyaga ega model neyronlar ularning dinamikasini va axborotni qayta ishlash qobiliyatini tekshirish uchun simulyatsiya qilingan sinapslar yordamida tarmoqlarga ulanadi. Matematik jihatdan sodda modellar bo'lsa, bu matematik tahlil orqali, lekin asosan kompyuter simulyatsiyasi orqali amalga oshiriladi.
O'tgan asrning saksoninchi va to'qsoninchi yillarida fiziklar ham bu sohaga kirishdilar va o'sha paytda tushunishga katta hissa qo'shdilar. Hozirgi vaqtda neyron tarmoqlar yuqori energiyali fizikada, masalan, yuqori fizikada tahlil qilish uchun ishlatiladi. Ko'p o'lchovli deb ataladigan usullar katlanmış eksperimental ma'lumotlarni ajratishning muhim qismidir.
Neyron tarmoqlari
Neyron tarmoqlari, neyron tarmoqlari, qisqartma. NN, E. neyron tarmoqlari, 1) Nerv hujayralarining bir-biri bilan sinapslar orqali bog'langan tarmoqlari (nerv tarmoqlari). 2) sun'iy neyron tarmoqlari (Qisqa. KNN), kompyuterda amalga oshirilgan neyron tarmoqlarning simulyatsiya modellari, ya'ni sun'iy neyronlar tarmoqlari. Biologik yo'naltirilgan va texnik yo'naltirilgan simulyatsiyalar o'rtasida farqlanadi. In biologik yo'naltirilgan simulyatsiyalar asosiy e'tibor neyrobiologiyada o'rganiladigan neyron xususiyatlarini eng ishonchli ko'paytirishga qaratilgan (shpiklar, dinamik sinapslar, dendritlar va aksonlarda elektr signallarining o'tkazuvchanligi). In texnik yo'naltirilgan simulyatsiyalar Bu texnik muammolarni hal qilish uchun sun'iy neyron tarmoqlardan foydalanish haqida, masalan, naqshni aniqlash yoki vaqt seriyalarini bashorat qilishda - bu neyroinformatikaning mavzusi (1-rasmga qarang). & # 8211 Texnik muammolarni hal qilish uchun ANN qurishni yangi dasturlash paradigmasi sifatida ko'rish mumkin: Siz tarmoq tuzilishini va shunday deb atalmishni berasiz. O'rganish qoidasi oldin, shundan so'ng tarmoq o'rganilishi kerak bo'lgan funktsiyaga moslasha oladi va keyin namunaviy ma'lumotlardan foydalangan holda neyron tarmoqni "o'rgatadi" (1-jadvalga qarang). Bu erda neyron tarmoqlarning moslashuvi va o'rganish qobiliyati asosan "dasturlashni", ya'ni dasturlarni yaratish va o'zgartirishni osonlashtirish uchun ishlatiladi. Tez-tez ANN dan foydalanishga olib keladigan yana bir texnik jihat shundaki, ANN simulyatsiyasini printsipial jihatdan parallellashtirish mumkin. Buning sababi shundaki, neyron tarmog'idagi barcha neyronlar bir vaqtning o'zida ishlaydi, aksariyat algoritmlarni parallel ravishda osonlikcha bajarib bo'lmaydi (ya'ni, bir vaqtning o'zida turli protsessorlar tomonidan). Parallel kompyuterlardan samarali foydalanish vaqti-vaqti bilan, ayniqsa, muhim vaqt talab qiladigan ilovalar uchun, shuningdek, juda ko'p hisoblashni talab qiladigan muammolar uchun zarur bo'ladi, masalan, o'rganish orqali neyron ulanish strukturasini optimallashtirishda (texnik neyron tarmoqlarning asosiy turlari, 2-jadvalga qarang).
Sun'iy neyron tarmoqlarning tuzilishi: ANN rasmiy neyronlar yoki neyron modellari tarmog'idir. U asosan uchta komponent bilan belgilanadi: & # 8211 1) Bu Neyron modeli bitta neyronning kirish-chiqish munosabatlarini tavsiflaydi. Neyron ko'p kirish va bitta chiqishga ega. Ko'pgina modellarda kirishlar (x1. xn) og'irlik vektoridan olingan og'irliklar bilan w = (w 1. w n) ko'paytiriladi va keyin qo'shiladi:

.
Bu chiziqli bo'lmagan funktsiyaga aylanadi f chiqish signali hisoblaydi: a = f(d). Bu ko'pincha amalga oshiriladi f neyronning javob xarakteristikasi yoki xarakterli egri chizig'i sifatida, a "aksonal faoliyat" sifatida va d "dendritik potentsial" deb ataladi. Bu biologik neyrondagi akson va dendritning mos keladigan funktsiyasi bilan bog'liq. Stokastik neyron modellarida uzatish funktsiyasi rol o'ynaydi f dan d keyin a bir tasodif jarayoni & # 223 u bilan. Bu modellar, masalan, dendritik membrana potentsialidagi statistik dalgalanmalar. Ayniqsa, oddiy neyron modeli bilan, deb atalmish Eshik neyroni yoki Makkaloch-Pitts neyroni, qo'zg'alish ostonasiga aylanadi θ dendritik faollik bilan oldindan belgilanadi d & # 252 dan oshib ketishi kerak, shunda neyron chiqish hosil qiladi (ko'pincha boshoq sifatida talqin qilinadi) (a = 1). Shunday ekan f(d) = fθ(d) = 1 agar d ≥ θ , va boshqacha fθ(d) = 0. Differensiallanuvchi sigmasimon funktsiya ham juda keng tarqalgan f ishlatilgan: the Fermi funktsiyasi f(d) = 1 / (1 + ekspluatatsiya (-)& # 946d)). Bunday holda, chiqish a = f(d) kabi Tiklanish tezligi talqin qilingan. & # 8211 2) The Bog'lanish tuzilishi sun'iy neyronlar qanday o'zaro bog'langanligini ko'rsatadi, qaysi neyronlar kirishlari orqali yoki to'g'ridan-to'g'ri chiqish faolligi orqali tarmoqqa kirishlarni va qaysi neyronlar chiqishlari orqali chiqishlarni ifodalaydi. Eng oddiy holatda, ichki ulanish tuzilishi oddiygina matritsa orqali bo'lishi mumkin C. = (cij), masalan. cij = 1, agar neyron i neyron bilan j ulangan va boshqa cij = 0 yoki cij haqiqiy son sifatida neyronlar orasidagi aloqaning kuchi i va neyron j bildiradi. Ijobiy raqamlar hayajonga sabab bo'lgan birikmalarni, salbiy raqamlar esa inhibitiv birikmalarni bildiradi. Biologik neyron tarmoqlarda bu ulanishlar sinapslar orqali o'rnatiladi, bu erda kimyoviy uzatuvchi (neyrotransmitter) quyi oqim (ya'ni postsinaptik) hujayrada ogohlantiruvchi yoki inhibe qiluvchi ta'sirni hosil qiladi. Tarmoqning bu ulanish strukturasini vaznli grafik bilan ham yaxshi ifodalash mumkin. Neyronlar tugunlar, ulanishlar esa grafik qirralari sifatida ko'rsatilgan. Asimmetrik ulanishlar bo'lsa, ulanish yo'nalishi o'q bilan ko'rsatiladi. Ulanish kuchlari qirralarning og'irlik qiymatlari sifatida yozilishi mumkin. & # 8211 Bog'lanish tuzilishini tasniflash uchun muhim ahamiyatga ega oldinga bog'langan (uzatiladigan tarmoq) va r & # 252 fikr-mulohaza (Tekshiruv) tarmoqlarni farqlash uchun. Oldinga bog'langan tarmoqlarda neyronning faolligi bir necha oraliq bosqichlardan so'ng bir xil neyronga qaytarilishi mumkin bo'lgan yopiq halqalar (tsikllar) mavjud emas. Bu, ayniqsa, oldinga bog'langan oddiy tarmoqlar ko'p qatlamli perseptronlar (E. ko'p qatlamli perseptronlar)har bir qatlamda bir qancha sun'iy neyronlar mavjud. Birinchi qatlam neyronlari o'zlarining aksonal faolligi orqali tarmoqqa kirishni ifodalaydi, qatlamning barcha neyronlari keyingi qatlamning barcha neyronlari bilan bog'langan va oxirgi qatlam neyronlari tarmoqning chiqishini ifodalaydi. The O'rganish qoidasi bog‘lanishlar qanday ekanligini ko‘rsatadi cij yoki og'irliklar wij ikki neyron o'rtasida i va j o'zgarish (sinaptik plastisiya). da mahalliy ta'lim qoidalari & # 196 o'zgarishi & # 916 ilova qilingancij dan cij faqat neyron faoliyatidan i va neyronda j deb atalmish ham dan O'qituvchi signali Tj f & # 252r neyroni j va, muayyan sharoitlarda, qo'shimcha "o'rganish signali" e'tiborga olinishi kerak, bu o'rganish amalga oshirilishi kerakmi yoki yo'qligini ko'rsatadi (& # 916cij = 0). Eng keng tarqalgan o'rganish qoidalari mahsulot qoidalari: ularda "o'zgarish" mavjudcij ikki omil mahsuloti A. va B.ularning har biri faqat aksonal faollikka bog'liq ai yoki dendritik faollik dj Bog'liqliklar: & # 916cij = A.(ai) · B.(dj). Buning alohida holatlari Hebb o'rganish qoidalari: & # 916cij & # 8776 lai · aj, va farq qoidalari: & # 916cij & # 8776 lai · (Tj-aj), bu ham o'qituvchi signalini talab qiladi. l & # 8805 0 omili ham deyiladi O'rganish darajasi tayinlangan. Bu sinapsning qanchalik o'zgarganligini ko'rsatadi.Agar l = 0 bo'lsa, o'zgarish bo'lmaydi. Ko'pgina modellarda o'rganish jarayonida o'rganish tezligi kamayadi, keyinchalik u vaqtga bog'liq l = l (t) (qo'shimcha ma'lumotga qarang).
Sun'iy neyron tarmoqlarni qo'llash:Bugungi kunda foydalanuvchilar orasida mashhur bo'lgan modellar asosan oldinga bog'langan (ya'ni, ularda hech qanday aloqa sxemalari mavjud emas, 3-jadvalga qarang). Bu, asosan, qayta aloqa tarmoqlarining xatti-harakatlarini matematik jihatdan tahlil qilish ancha qiyin va amalda ham osonlik bilan oldindan aytib bo'lmaydiganligi bilan bog'liq. Amaliy ilovalar, birinchi navbatda, optimallashtirish uchun stokastik qayta aloqa tarmoqlaridan foydalanishda (Boltzmann mashinasi, Xopfild tarmog'i ). & # 8211 Ehtimol, eng mashhur ANN, oddiy Perseptron, kirish vektorli ikkilik neyronlarning bir qatlamli tarmog'idir x, birlashtiruvchi matritsa c va chiqish vektori a. Ko'p qatlamli perseptronlarda esa, bugungi kunda qatlamlarning boshqa raqamlanishi ustunlik qildi: kirishlar neyronlarning birinchi qatlami bilan ifodalanadi va oddiy perseptron kirish va chiqish qatlami bo'lgan ikki qavatli deb ataladi. Birinchi haqiqiy ko'p qatlamli perseptron uchta qatlamga ega bo'lib, ular kirish, chiqish va ular orasida joylashgan. yashirin (E. yashirin) qatlam (2-rasmga qarang). Oddiy perseptron allaqachon Rosenblatt va keyin Minsky va Papert (1969) tomonidan keng ko'lamda o'rganilgan. Assotsiativ xotiralar, odatda, bir oz boshqacha o'rganish qoidalariga ega bo'lgan ikkilik neyronlarning bir qatlamli tarmoqlaridir. Assotsiativ xotiralarning xotira hajmini optimallashtirishda siyrak naqshlarga (bir nechta va asosan nolga ega) ustunlik berish kerakligi ma'lum bo'ldi. Bu erda farqlanadi To'g'ridan-to'g'ri assotsiatsiya va Avtomatik assotsiatsiya. Kirish vektori chiqish vektoriga mos keladigan avtomatik assotsiatsiya (avto-assotsiativ tarmoq) bo'lsa, ko'pincha orqaga ulangan tarmoqlar (masalan, chiqish vektori iterativ ravishda yaxshilangan Hopfild tarmoqlari) ko'rib chiqiladi. & # 8211 Ba'zi usullarni faqat kengroq ma'noda ANN sifatida ko'rish mumkin, chunki ular har bir neyronda ichki mahsulotga ega emas.

kirish vektoridan x va og'irliklar hisoblanadi, lekin masofa

.
Bu holat radial asos funktsiyalari (Qisqa. RBF), Kohonen kartalari, bog'liq Vektor kvantlashni o'rganish (Qisqa. LVQ) va adaptiv k- klasterlash vositalari (aglomeratsiya klasterini tahlil qilish usuli). Juda mashhur Kohonen kartalari yoki o'z-o'zini tartibga soluvchi kartalar bilan, shuningdek, vaqtga bog'liq o'rganish tezligi l (t) va vaqtga bog'liq bo'lishi mumkin bo'lgan mahalla bilan N(j,,j*) g'olib neyron j*, bu ham o'rganish uchun ishlatiladi. & # 8211 da Boltsman mashinasi Bu statistik mexanika modellari tomonidan motivatsiya qilingan biroz murakkab va hisoblash jihatidan qimmat o'quv jarayoniga ega bo'lgan orqa bog'langan stokastik tarmoq. Bu erda muhim parametr "teskari harorat" βFermi funktsiyasining qiyaligini aniqlaydigan (yuqoriga qarang) va simulyatsiya paytida tizimli ravishda o'zgartirilishi kerak (simulyatsiya qilingan tavlanish). Orqaga tarqalish xato signallari paydo bo'ladigan ko'p qatlamli tarmoqlar (differensial uzatish funktsiyasiga ega neyronlar) uchun o'rganish usulidir. δi birinchi navbatda chiqish qatlami uchun hisoblash kerak δj = (Tj – aj) va keyin asta-sekin birlashtiruvchi matritsalar orqali qatlamdan qatlamga uning oldidagi qatlamlarga qayta tarqaladi (xatoni qayta tiklash usuli). & # 8211 ANNning amaliy qo'llanilishida ko'pincha muammo yuzaga keladi Arxitektura muammosi ifodalashi mumkin. Bu, asosan, ANNni belgilaydigan va o'quv jarayoni tomonidan moslashtirilmagan parametrlarni optimal tanlashdan iborat. Masalan, ko'p qatlamli perseptronlardan foydalanganda (orqaga tarqaladigan o'rganish jarayonlari bilan) har bir qatlamda qancha qatlam va qancha neyron ishlatilishini hal qilish kerak, ya'ni, umuman olganda, tarmoqning ma'lum bir arxitekturasi haqida qaror qabul qilish kerak. ulanish. O'quv jarayoni ko'plab iterativ bosqichlarni talab qilganligi sababli, turli arxitekturalarni sinab ko'rish juda ko'p vaqt talab etadi.
the Sun'iy neyron tarmoqlar nazariyasi 1950-yillarda avtomatlar nazariyasi bilan birgalikda boshlangan va 1970-yillardagi pauzadan so'ng, yaqinda yana oldinga surildi. Eng muhim natijalar bu erda qisqacha umumlashtiriladi:
- ANN chekli avtomatlar kabi hisoblash qobiliyatiga ega.
- R & # 252 teskari aloqa ANN nosimmetrik ulanishlar (cij = cji) barqaror sobit nuqtalarga ega va uzoq tsikllarga ega emas (maksimal uzunlik 2). Dinamik rivojlanish minimal energiya yo'nalishida harakat qiladi H. Funktsiya H faoliyat vektori a = (a1. an) mohiyatan sifatida belgilanadi

.
- Oddiy ikki qavatli perseptronning farqni o'rganish qoidasi cheklangan miqdordagi qadamlardan so'ng yaqinlashadi.
- Uch qavatli perseptron har bir uzluksiz funktsiyani (yashirin qatlamda yetarlicha neyronlar bilan) taxminan hisoblashi mumkin.
- Uch qavatli perseptronda "o'rganish" orqali berilgan funktsiyaga eng yaxshi yaqinlikni topishning optimallash muammosi qiyin.
Arxitektura muammosi, ya'ni ma'lum bir ko'p qatlamli perseptron (asosan qattiq arxitekturaga ega) berilgan funktsiyani to'g'ri (yoki hech bo'lmaganda taxminan to'g'ri) ifodalay oladimi degan savol ham qiyin.
Yoqitilgan: Kibenko, G..: Sigmasimon funktsiyaning superpozitsiyalari bilan yaqinlashish. Boshqarish, signallar va tizimlar matematikasi 2 (1989), 303-314-betlar. Hertz, J., Krogh, A., Palmer, R.G.: Neyron hisoblash nazariyasiga kirish. Redvud shahri 1991 yil. Xopfild, J.J.: Neyron tarmoqlari va paydo bo'ladigan jamoaviy hisoblash qobiliyatlari bilan jismoniy tizimlar. PNAS 79 (1982), 2554-2558-betlar. Kleene, S.C.: Nerv tarmoqlari va chekli avtomatlarda hodisalarning tasviri. In: Shennon, L.E., MakKarti, I.. (Tahr.): Avtomatlarni o'rganish. Prinston, 1956 yil, 3-41-betlar. Makkaloch, U.S., Pitts, V.: Asab faoliyatida immanent bo'lgan g'oyalarning mantiqiy hisobi. Buqa, matematika, biofizika. 5 (1943 yil), 115-bet. Minsky, M., Papert, S..: Perseptronlar. Kembrij 1969 yil. Palm, G..: Neyron birikmalar. Sun'iy intellektga muqobil yondashuv. Berlin, Geydelberg, Nyu-York, 1982 yil. Rojas, R.: Neyron tarmoqlar nazariyasi & № 8211 tizimli kirish. Berlin, Geydelberg, Nyu-York, 1993 yil.
Ovozni aniqlash: Insonning og'zaki nutqini tan olish neyron tarmoqlar duch keladigan eng katta muammolardan biridir. Biroq so‘nggi paytlarda inson nutqini tanib olish qobiliyatidan ham oshib ketadigan sun’iy neyron tarmoqlarni yaratish muvaffaqiyatli bo‘ldi. Bu tarmoqlar faqat 11 ta sun'iy neyrondan (30 ta ulanishga ega) iborat bo'lib, ular & # 8211 boshqa tarmoqlarning "an'anaviy" neyronlaridan farq qiladi & # 8211 nafaqat signallarning intensivligiga, balki sezgir ta'sirga ham ega. tuzilmalar - bu individual neyronlar o'zgaruvchan vaqt tsikllari bilan ishlaydi va signallarni xuddi shunday tarzda gippokampdagi nerv hujayralariga uzatadi, bunda odamlarda assotsiativ o'rganish sodir bo'ladi. Mashg'ulot bosqichlaridan so'ng test sinovlarida bunday tarmoqlar fon shovqinidan ma'lum bir ovozni tanlab filtrlash bo'yicha inson qulog'idan ustun ekanligini isbotlaydi.


Neyron tarmoqlari
1-rasm: Sun'iy neyron tarmoqlarning mumkin bo'lgan ilovalari
Neyron tarmoqlari
1-tab: Texnik neyron tarmoqlarni ishlab chiqish sikli
(sun'iy neyron tarmoqlarini qo'llashdagi eng muhim qadamlar).
0) Qancha ma'lumot? O'qituvchi signalmi? Baholash?
1) Neyron modelini tanlang
2) Ma'lumotlarni neyron kiritish vektori sifatida ko'rsatish
3) Ta'lim va sinov uchun ma'lumotlarni ajratish
4) Parametrlarni aniqlang (arxitektura, faollashtirish, o'rganish qoidasi)
5) O'zgaruvchilarni ishga tushirish
6) Tugatish mezonlarini aniqlang
7) Iteratsiyani bajaring (ko'pincha 2 bosqich: o'qitish va sinov)
8) Baholash: xatolik darajasini aniqlang
9) Agar qoniqmasangiz, 1), 2) yoki 4) ga qayting.
4) dan 8) bosqichlar qoniqarli yakuniy natijaga erishilgunga qadar tez-tez arizada bir necha marta takrorlanishi kerak.
Neyron tarmoqlari
2-tab: Texnik neyron tarmoqlarning asosiy turlari
O'qituvchi bilan tarmoqlar
- Perseptron
- getero-assotsiatsiya
- orqaga tarqaladigan tarmoqlar
- Radial asosli funktsiyalar tarmoqlari
- Ta'limni mustahkamlash
Raqobat bilan tarmoqlar
- Kohonen kartasi
- K-klaster tahlilini anglatadi
- Vektor kvantlashni o'rganish
- Moslashuvchan rezonans nazariyasi
Tadqiqot
PTB 8.42 ishchi guruhining diqqat markazida "chuqur o'rganish" natijalari uchun noaniqliklarni tushuntirish va miqdoriy aniqlash usullarini ishlab chiqish. Hozirgi rivojlanish - bu "noqulay misollar" ni aniqlash uchun Fisher ma'lumotlaridan foydalanish. Ushbu maxsus ishlab chiqilgan kirish ma'lumotlari uchun neyron tarmoqlarining xatti-harakatlarini tushunish neyron tarmoqlarning ishonchliligini baholash va yaxshilash uchun muhimdir. Ishning yana bir yo'nalishi metrologiyada chuqur o'rganish usullarini qo'llashdir. Bunga misol qilib rentgen diagnostikasida tasvir sifatini baholash yoki optik yuzalar shaklini kompyuter yordamida aniqlash mumkin.
AnimatLab

Hayvonlarning o'z turlarini yaratish haqida hech o'ylab ko'rganmisiz? Bilan AnimatLab Buni iloji bormi. Bu biomexanik simulyatsiya va real biologik neyron tarmoqlarni birlashtirgan dastur. Boshqacha qilib aytganda, buni amalga oshiradigan dastur hayvon, mashina yoki robotning tanasini yaratish va sizniki bo'lgan dunyoga joylashtirish imkonini beradi real va aniq fizika va o'zaro ta'sir bilan ta’minlash uchun yaratilgan.
Asosan buni bajaradigan tana muharriri mavjud mushaklar, suyaklar va boshqa elementlarni yaratish va ular bilan xatti-harakatlarni bog'lash imkonini beradi. Keyin neyron tizimlari muharriridan har xil turdagi neyronlar bilan sxemalar yaratish uchun foydalanishingiz mumkin. Bilan AnimatLab tomosha qila olasizmi ijodlaringiz ma'lum bir yashash maydonida qanday harakatlanadi va rivojlanadi, va ularning xulq-atvori ular ta'sir qiladigan turli xil ogohlantirishlarga qarab qanday o'zgaradi.
Agar qanday qilishni bilmasangiz AnimatLab boshlash uchun siz har doim dan foydalanishingiz mumkin Misollar va qo'llanmalarni ko'rib chiqingbuni ilovada topish mumkin. Tizim bilan ko'proq tanish bo'lgach, siz yanada murakkab elementlarni yaratishingiz mumkin bo'ladi.
Yuklab oling AnimatLab va siz yaratgan muhitda hayvonlarning yangi turlarini yaratin
Neyronlarni yo'naltirilgan, vaznli ulanishlar orqali yuboring. Ular massiv ravishda parallel, moslashuvchan tizimlardir. Neyron tarmoqlar o'quv misollari yordamida vazifani mustaqil ravishda o'rganish imkoniyatiga ega.
Neyron tarmoqni o'rgatishda neyron tarmoqning haqiqiy chiqishi va kerakli natija o'rtasida farq bor. Bu oldingi bilimlarga asoslangan o'quv ma'lumotlarida ma'lum (masalan, oldindan belgilangan naqshlar, tarixiy ma'lumotlar va boshqalar). Shunday qilib, trening yoki tarmoq xatosi mavjud. Bu har doim manfiy bo'lmasligi uchun u odatda Evklid masofasining kvadrati yordamida aniqlanadi (3.1- tenglamaga qarang). Shunday qilib, treningning maqsadi bu xatoni minimallashtirishdir. Sizda cheklovlarsiz optimallashtirish muammosi mavjud.
Cheklanmagan optimallashtirishdan ma'lum bo'lgan va neyron tarmoqlarda foydalanish uchun moslashtirilgan ta'lim uchun bir qator algoritmlar mavjud. Ushbu ishda gradient tushish usuli, kvazi-Nyuton usuli yoki Gauss-Nyuton usulining modifikatsiyasi, Levenberg-Markvardt usuliga mos keladigan ba'zi algoritmlar keltirilgan. Bundan tashqari, global optimallashtirish jarayonlari muhokama qilinadi. Kesish burchagi usuli neyron tarmoqlarga moslashtirilgan. Bundan tashqari, jarima funktsiyasi bilan birga gradient tushish usulidan foydalanishga asoslangan evristik protsedura taqdim etiladi. Shunday qilib, mahalliy minimumga yana erishish mumkin
tark va global erishiladi.
Ba'zi usullar uchun konvergentsiya isboti taqdim etiladi. Bu jarayonlarning barqarorligi ham muhokama qilinadi.
Vaqtga bog'liq bo'lgan turli xil takroriy neyron tarmoqlar taqdim etiladi va ular bilan bog'liq o'quv jarayonlari mos ravishda moslashtiriladi. Ularning barqarorligi uchun shartlar ham ko'rsatilgan. Barqarorlik neyron tarmog'ining chiqishi o'zgarmasligini bildiradi.
Keyin neyron tarmoqlarni minimallashtirish usullari keltirilgan. Bu ahamiyatsiz ulanishlarni yoki neyronlarni yo'q qilishdir.
Neyron tarmoqlardan ko'p jihatdan foydalanish mumkin, masalan, naqshni aniqlash, avtonom transport vositalarini boshqarish, prognozlash. Qo'shimcha mumkin bo'lgan ilovalarni [52] da topish mumkin.
Ushbu ishda yo'l belgilarini aniqlashda neyron tarmog'i naqshni aniqlash uchun amaliy misol sifatida ishlatiladi. Maqsad - neyron tarmoq yaratish va uni tanlangan yo'l belgilari bilan o'rgatish. Shu maqsadda yo'l belgilari tasodifiy generator yordamida 25% gacha shovqinli, bu holda R statistika dasturidan foydalaniladi. Shtutgart neyron tarmoqlari simulyatori neyron tarmoqlarni yaratish va o'qitish uchun ishlatilgan. Tarmoq xatolarini minimallashtirish uchun protseduralar tezligidagi ilgari nazariy jihatdan aniqlangan farqlar aniq ko'rinadi. Keyin tarmoq shovqinli bo'lishi mumkin bo'lgan ushbu yo'l belgilarini taniy olishi kerak. Keyin yana bir yo'l belgisini neyron tarmoqda qanday o'rgatish mumkinligi ko'rsatiladi.
nson miyasi, ehtimol, zamonaviy fanning eng murakkab ob'ektlaridan biri bo'lib, uni tabiatdagi eng kam tushunilgan hodisalardan biriga aylantiradi. Miyadagi sinaptik tarmoqning murakkabligi matematik tilda tushunish qiyin bo'lgan narsalarni, masalan, o'rganish, bilim, tushunish, til va ongni bir nechtasini nomlash imkonini beradi. Miyani o'rganishdagi qiyinchiliklarning ikkita asosiy sababi bor. Qaysi savollarni berish kerak, ya'ni qaerga qarash kerak, masalan, ongni tushuntirmoqchi bo'lsa va miyani tashkil etuvchi neyronlar va sinapslarning astronomik sonini qanday tushunish mumkin? Biz to'g'ri so'ramagan bo'lishimiz mumkin bo'lgan savollarimizga javoblar neyronlar orasidagi bog'lanishlarning murakkabligida yashiringan.
Falsafa, nevrologiya va ehtimol ilohiyot kabi inson miyasini o'rganish uchun klassik fanlardan tashqari, yaqinda ikkita yangi yondashuv ishlab chiqildi, ular sun'iy intellekt (AI) va sun'iy neyron intellekt tarmoqlari (AN, sun'iy neyron) lagerlariga bo'lingan. AI o'zining yondashuvi bilan an'anaviy kompyuter arxitekturalarida bilimlarni taqdim etishga intiladi, bunda bilim "yog'ochning yonishi" kabi faktlarni va "uylar yog'ochdan yasalgan. Shunday qilib: uylar yonadi" kabi xulosalarni o'z ichiga oladi. va faktlar orasida mantiqiy xulosalar chiqarish qobiliyati.Buning uchun AI katta va tez xotiralar va samarali qidiruv algoritmlariga tayanadi.Sun'iy neyron tarmoqlari bo'yicha tadqiqotning maqsadi sof topish Miya qanday ishlashi haqida bilimga ega bo'lish va shu tariqa o'zimizni tushunish. yaxshiroq n va kelajakda miya tuzilishini yangi arifmetik arxitektura sifatida, o'zimizda mavjud bo'lgan barcha potentsial imkoniyatlar bilan qayta yaratish. Biroq, ushbu tadqiqot yo'nalishi hali ham neyron tarmoqlarning parallel ishlashini simulyatsiya qilish uchun tezkor, an'anaviy kompyuterlarga bog'liq. Shuning uchun tadqiqot, albatta, bugungi kompyuterlar o'zlari bilan olib keladigan cheklovlarga bo'ysunadi, masalan, parallel ish bosqichlarining ketma-ket simulyatsiyasi tufayli tezlikning etarli emasligi
AI aqlni taqlid qiladi va u allaqachon juda yaxshi, chunki turli xil ekspert tizimlari qo'llaniladi. Biroq, AN inson ongining barcha tomonlarini taqlid qilishni va shu bilan miyadagi tuzilmalarni o'rganish uchun modelni taklif qilishni xohlaydi. Bundan tashqari, ANN an'anaviy algoritmik turdagi yordamida hal qilish qiyin bo'lgan yoki ko'p hisoblash kuchini talab qiladigan masalalarga qo'llanilishi mumkin. Masalan, yosh bola atrof-muhitdagi narsalarni boshqa ob'ektlardan farqlash va ajratib olishda har qanday kompyuterdan ustundir. Ushbu va shunga o'xshash ilovalar yaqinda ANN tomonidan juda muvaffaqiyatli hal qilindi.