Amaliy matematika” yo‘nalishi 21. 08-guruh talabasi Mamasodiqova Mubina Sattorali qizining

f(z)=11+Exp(−z).
Shunday qilib, bizning yagona neyronimiz logistik regressiya bilan aniqlangan kirish-chiqish xaritasiga to'liq mos keladi.
Ushbu eslatmalar sigmasimon funktsiyadan foydalansa ham, shuni ta'kidlash kerakki, yana bir keng tarqalgan tanlovfgiperbolik tangent yoki tan funksiyasi:
f(z)=tanh(z)=ez−e−zez+e−z.
So'nggi tadqiqotlar boshqa faollashtirish funktsiyasini topdi, rektifikatsiya qilingan chiziqli funktsiya ko'pincha chuqur neyron tarmoqlar uchun amalda yaxshiroq ishlaydi. Bu faollashtirish funktsiyasi sigmasimondan farq qiladi vatanhchunki u chegaralanmagan yoki doimiy ravishda differentsiallanmaydi. Rektifikatsiya qilingan chiziqli faollashtirish funktsiyasi quyidagicha ifodalanadi:
f(z)=maks(0,x).
Mana sigmasimon suyaklarning syujetlari,tanhva to'g'rilangan chiziqli funktsiyalar:

Thetanh(z)funktsiya sigmasimon bezning qayta o'lchamdagi versiyasidir va uning chiqish diapazoni[−1,1]o'rniga[0,1]. To'g'rilangan chiziqli funktsiya qismli chiziqli bo'lib, har bir kirishda to'liq 0 ga to'yingan bo'ladi.z0 dan kichik.
Shuni yodda tutingki, ba'zi boshqa joylardan (jumladan, OpenClassroom videolari va CS229 qismlari) farqli o'laroq, biz bu erda konventsiyadan foydalanmayapmiz.x0=1. Buning o'rniga, kesishish atamasi parametr tomonidan alohida ishlanadib.
Va nihoyat, keyinroq foydali bo'ladigan bitta identifikator: Iff(z)=1/(1+Exp(−z))sigmasimon funktsiya bo'lsa, uning hosilasi bilan beriladif'(z)=f(z)(1−f(z)). (Agarftan funksiyasi bo'lsa, uning hosilasi bilan beriladif'(z)=1−(f(z))2.) Sigmasimon (yoki tanh) funksiyasining taʼrifidan foydalanib, buni oʻzingiz olishingiz mumkin. To'g'rilangan chiziqli funktsiya qachon gradient 0 ga egaz≤0va boshqa 1. Gradient aniqlanmaganz=0, lekin bu amalda muammo tug'dirmaydi, chunki biz optimallashtirish vaqtida ko'plab o'quv misollari bo'yicha gradientni o'rtacha hisoblaymiz.
Neyron tarmoq modeli
Neyron tarmog'i bizning ko'plab oddiy "neyronlarimiz" ni birlashtirish orqali birlashtiriladi, shunda neyronning chiqishi boshqasining kirishi bo'lishi mumkin. Masalan, bu erda kichik neyron tarmoq:

Ushbu rasmda biz tarmoqqa kirishlarni belgilash uchun doiralardan foydalanganmiz. “+1” bilan belgilangan doiralar chiziqli birliklar deb ataladi va kesishish atamasiga mos keladi. Tarmoqning eng chap qatlami kirish qatlami deb ataladi va eng o'ng qavatda chiqish qatlami (bu misolda faqat bitta tugun mavjud). Tugunlarning o'rta qatlami deyiladi yashirin qatlam , chunki uning qiymatlari o'quv majmuasida kuzatilmaydi. Shuningdek, bizning neyron tarmog'imiz misolida 3 ta kirish birligi (bias birligini hisobga olmaganda), 3 ta yashirin birlik va 1 chiqish birligi borligini aytamiz .
Biz ruxsat beramiznltarmog'imizdagi qatlamlar sonini belgilang; shundaynl=3bizning misolimizda. Biz qatlamni belgilaymizlkabiLl, shuning uchun qatlamL1kirish qatlami va qatlamdirLnlchiqish qatlami. Bizning neyron tarmog'imiz parametrlarga ega(V,b)=(V(1),b(1),V(2),b(2)), biz qaerda yozamizV(l)ijbirlik orasidagi ulanish bilan bog'liq parametrni (yoki og'irlikni) belgilash uchunjqatlamdal, va birlikiqatlamdal+1. (Indekslarning tartibiga e'tibor bering.) Shuningdek,b(l)ibirlik bilan bog'liq bo'lgan moyillikdiriqatlamdal+1. Shunday qilib, bizning misolimizda borV(1)∈ℜ3×3, vaV(2)∈ℜ1×3. E'tibor bering, birliklarning kirishlari yoki ulanishlari yo'q, chunki ular har doim +1 qiymatini chiqaradi. Biz ham ruxsat beramizslqatlamdagi tugunlar sonini bildiradil(bias birligini hisobga olmaganda).
Biz yozamiza(l)ibirlikning faollashuvini (chiqish qiymatini bildiradi) belgilash uchuniqatlamdal. Uchunl=1, biz ham foydalanamiza(1)i=xini bildirmoqi-kiritish. Parametrlarning qat'iy sozlanishi hisobga olingan holdaV,b, bizning neyron tarmog'imiz gipotezani belgilaydihV,b(x)bu haqiqiy sonni chiqaradi. Xususan, ushbu neyron tarmog'ini ifodalovchi hisob-kitoblar quyidagicha berilgan: