4 Ma’ruza Sun'iy neyron tarmoqlar (snt) ning tasnifi va ishlash tamoyillari

Konvolyutsiya qatlami.

Konvolyutsion qatlam konvolyutsion neyron tarmog'ining asosiy qurilish blokidir. Konvolyutsiya qatlami har bir kanal uchun o'z filtrini o'z ichiga oladi, uning konvolyutsiya yadrosi oldingi qatlam fragmentini bo'laklarga bo'lib qayta ishlaydi (har bir fragment uchun elementlar bo'yicha mahsulotning natijalarini umumlashtiradi). Konvolyutsiya yadrosining og'irliklari (kichik matritsa) noma'lum va mashg'ulot paytida o'rnatiladi.
Konvolyutsion qatlamning o'ziga xos xususiyati - bu mashg'ulot paytida o'rnatiladigan nisbatan kam sonli parametrlar. Masalan, agar asl tasvir uchta kanalda 100x100 piksel o'lchamiga ega bo'lsa (bu 30 000 kirish neyronini bildiradi) va konvolyutsion qatlam 6 kanalli 3x3 pikselli yadroli filtrlardan foydalansa, u holda faqat 9 yadro og'irligi bo'ladi. o'quv jarayonida aniqlanadi , ammo, kanallarning barcha kombinatsiyalari uchun, ya'ni 9 × 3 × 6 = 162, bu holda, bu qatlam faqat 162 parametrni topishni talab qiladi, bu to'liq kanalning talab qilinadigan parametrlari sonidan sezilarli darajada kam. ulangan neyron tarmoq.
Faollashtirish qatlami
Har bir konvolyutsiyaning skalyar natijasi o'ziga xos chiziqli bo'lmagan funksiya bo'lgan faollashtirish funktsiyasiga to'g'ri keladi. Faollashtirish qatlami odatda konvolyutsiya qatlami bilan mantiqiy ravishda birlashtiriladi (faollashtirish funktsiyasi konvolyutsiya qatlamiga o'rnatilgan deb hisoblanadi). Chiziqli bo'lmagan funktsiya tadqiqotchining xohishiga ko'ra har qanday bo'lishi mumkin; an'anaviy ravishda buning uchun giperbolik tangens yoki sigmasimon funktsiyalar ishlatilgan.
Pooling yoki subnample qatlami

Maksimal funktsiya va 2 bosqichli 2x2 filtr bilan birlashtirish
Birlashtiruvchi qatlam (aks holda quyi namuna olish, kichik namuna olish) xususiyat xaritasining chiziqli bo'lmagan siqilishi bo'lib, piksellar guruhi (odatda 2 × 2 o'lchamdagi) chiziqli bo'lmagan transformatsiyaga uchragan holda bir pikselga siqiladi. Bunday holda, maksimal funktsiya eng ko'p ishlatiladi. O'zgartirishlar bir-birining ustiga tushmaydigan to'rtburchaklar yoki kvadratlarga ta'sir qiladi, ularning har biri bir piksel bilan siqiladi va maksimal qiymatga ega piksel tanlanadi. Birlashtirish operatsiyasi tasvirning fazoviy hajmini sezilarli darajada kamaytirishi mumkin. Pooling quyidagicha talqin qilinadi: agar oldingi konvolyutsiya jarayonida ba'zi xususiyatlar allaqachon aniqlangan bo'lsa, unda bunday batafsil tasvir endi keyingi ishlov berish uchun kerak emas va u kamroq batafsil tasvirga siqiladi. Bundan tashqari, keraksiz tafsilotlarni filtrlash qayta o'qimaslikka yordam beradi. Birlashtiruvchi qatlam odatda konvolyutsiya qatlamidan keyin keyingi konvolyutsiya qatlamidan oldin kiritiladi.
Maksimal funktsiya bilan birlashtirishdan tashqari, boshqa funktsiyalardan foydalanish mumkin, masalan, o'rtacha qiymat yoki L2 normalizatsiya. Biroq, amaliyot odatdagi tizimlarga kiritilgan maksimal funksiya bilan birlashtirishning afzalliklarini ko'rsatdi.
Olingan ko'rinishlar hajmini yanada tajovuzkor tarzda kamaytirish uchun kichikroq filtrlardan foydalanish yoki birlashtiruvchi qatlamlarni butunlay yo'q qilish tobora keng tarqalgan.