Kompyuter injineringgi fakulteti

Cheklangan chiziqli regressiya


Eng past kvadratlar tashqi narsalar, soxta maydonlar va boshqalar bilan chalkashib ketishi mumkin.Biz ma'lumotlar bazasiga qo'ygan chiziqning o'zgarishini kamaytirish uchun cheklovlar talab qilinadi. To'g'ri echim og'irliklarni "yomon" tutmasliklarini ta'minlaydigan chiziqli regressiya modeliga mos keladi. Modellar L1 (LASSO) yoki L2 (tizma regressiyasi) yoki ikkalasi (elastik regressiya) bo'lishi mumkin.

Ushbu algoritmni cheklangan regressiya chiziqlariga moslash uchun foydalaning, bunda haddan tashqari e'tibor bermaslik kerak.


K-o’rta usuli


Barchaning sevimli nazorat qilinmaydigan klasterlash algoritmi. Vektorli ma'lumotlar bazasini hisobga olgan holda, ular orasidagi masofaga qarab nuqta klasterlarini yaratishimiz mumkin. Bu mashinalarni o'rganish algoritmlaridan biri bo'lib, u klasterlarning markazlarini ketma-ket siljitadi va keyin klasterning har bir markazi bilan nuqtalarni guruhlarga ajratadi. Kirishlar - bu yaratilishi kerak bo'lgan klasterlar soni va takroriyliklar soni.



Logistik regressiya

Og'irliklar qo'llanilgandan so'ng, logistik regressiya chiziqli bo'lmagan (asosan sigmoidal funktsiya yoki tan ishlatiladi) chiziqli regressiya bilan cheklangan, shuning uchun chiqish cheklovi +/- sinfiga yaqin (sigmasimon holatdagi 1 va 0). Kross-entropiyani yo'qotish funktsiyalari gradient tushirish usuli yordamida optimallashtirilgan.

Yangi boshlanuvchilar uchun eslatma: Logistik regressiya regressiya uchun emas, balki tasniflash uchun ishlatiladi. Umuman olganda, u bir qavatli neyron tarmoqqa o'xshaydi. Gradientning tushishi yoki L-BFGS kabi optimallash usullaridan foydalangan holda o'qitish. NLP ishlab chiqaruvchilari ko'pincha "maksimal entropiya tasnifi" sifatida foydalanadilar.

Oddiy, ammo juda kuchli tasniflagichlarni tayyorlash uchun LR-dan foydalaning.