• Disk qismi Big Data arizalari bilan ishlovchi

1990-yillarning oxiri va 2000-yillarning boshlarida Big Data texnikasi asosan turli axborot tizimlaridan olingan katta miqdordagi ma'lumotlarni qayta ishlash uchun ishlatilgan. O'sha davrda ushbu texnologiya uchta asosiy xususiyat bilan tavsiflangan:
• Disk qismi – Big Data arizalari bilan ishlovchi;
• Turlari - turli xil ma'lumotlarni qayta ishlash – strukturali, susik-strukturali va tuzilmagan;
• Tezlik (tezlik) — ma'lumotlarni qayta ishlashning yuqori samaradorligi va tezligi. Ushbu texnologiyani amalga oshirish uchun maxsus mo'ljallangan asbob-uskunalar va maxsus dasturiy ta'minot (birinchi navbatda texnologiya) qo'llaniladi. Appache Hadoop Xaritani qayta ishlab chiqish uchun). Hozirgi Big Data texnologiyasi Big Data arizalarini qayta ishlash va tahlil qilish imkoniyatidan tashqari, bir qator intellektual xususiyatlarga ega. Mustaqil ravishda yanada murakkablashib, o'z-o'zini rivojlantirishi mumkin bo'lgan o'z-o'zini o'rganish algoritmlaridan foydalanish imkonini beradi. Ro'yxatga olingan uchta xususiyatga hozirda quyidagilar qo'shish mumkin:
• Qiymat – axborotning ahamiyati yoki ta'sir darajasi bo'yicha ma'lumotlarni filtrlash;
• Toʻgʻrilik – ishonchlilik, ma'lumotlarni ishonchlilik darajasi bo'yicha ajratish;
• O'zgaruvchanlik/Variance – axborotning o'rtacha qiymatdan chetga chiqib turishini hisobga olgan holda o'zgaruvchanlik;
• Yashnash mumkin – parametrlarning fundamentalligi va chidamliligini hisobga olgan holda ma'lumotlarning hayotiyligi. BIG DATA texnologiyasi faol rivojlanmoqda. Shunday qilib, kompaniya 2014 yilda Amazon xizmati tomonidan ishlab chiqilgan Elastik Xaritani qayta ishlab chiqildi. U tarqatilgan hisoblashning bulutli asoslangan versiyasi Hadoop edi. Xizmat ma'lumotlar ustida belgilangan tahliliy funksiyalarni bajarardi, ish natijalari esa fayllar ko'rinishidagi yo’nalishda qo'yilardi, amal qilish rejimi taqdim etilardi. Hisob-kitob jarayonida siz vazifaning bajarilishini EMR konsolidan kuzatib borishingiz mumkin edi. Amazon kompaniyasi ishlab chiqgan bunday xizmat ko’rsatish texnologiyasi nomi bu Kinesis edi. Bu yuz minglab manbalardan soatiga yuz terabayt ma'lumotlarni real vaqt rejimida to'plash va qayta ishlash imkonini beradi. Bunday manbalardan biri veb-sayt bo'lib, u tashqi hisob va tahliliy mexanizmlar, shu jumladan marketing va moliyaviy axborotga ishlov berish uchun ma'lumotlarni saqlash, yuklab olish va taqdim etish platformasidir. Bu tezkor qaror qabul qilish va tavsiyalar uchun real vaqtda boshqaruv panellarini yaratishga imkon beradi. Ma'lumotlarni boshqa bir qator xizmatlarga yuborish mumkin, masalan: Amazon Oddiy Saqlash Xizmat (Amazon S3), Amazon Dinamodb yoki Amazon Qizil oʻq. Ma'lumotlar oqimini bir necha marta o'zgarishlar orqali dasturlarni qurishni boshlashingiz mumkin. IBM 2014-yilda IBM versiyasi Hadoopni ishlab chiqdi, bu original versiyasiga qaraganda bir necha marta samaraliroq Appache Hadoopdir. Tarqatilgan yangi mahsulotlar BLU Akseleratsiya IBM Toʻgʻridan-toʻgʻri Tizimlar uchun Hadoop o’rnini bosuvchi bo’ldi. BIG DATA texnologiyasi bazasi uchun ishlab chiqilgan. Analitik Gartner kompaniyasiga ko'ra, O'zbekistonda ma'lumotlar miqdori yillik 30-50% ga oshadi. So'nggi yillarda tobora ko'payib borayotgan ma'lumotlarni qayta ishlash uchun maxsus asbob-uskunalar va dasturiy echimlar ishlab chiqildi. Ular asosan Big Data lardir. BIG DATA texnologiyasi asosan tadbirkorlikka qaratilgan. Big Data biznesni o'zgartira oladigan qimmatli ma'lumotlarni o'z ichiga oladi. Bu shunday imkon beradiki:
• mijozlarni jalb qilish va saqlab qolish, mijozlar bazasini oshirish. Bazaviy mumkin mijozlar va ularning motivatsiyasi xususiyatlari haqida qimmatli tahliliy ma'lumotlarni o'z ichiga oladi. Ushbu ma'lumotlarni tahlil qilish mijozlarning o'zaro ta'sirini optimallashtirish, qo'shilgan qiymatni yaratish va mustahkam munosabatlarni uzoq muddatli asosda qurish yo'llarini topish imkonini beradi;
• rejalashtirish va boshqarishni takomillashtirish, operatsiyalar, ta'minot zanjirlari va infratuzilma resurslaridan foydalanish samaradorligini oshirish. Bu esa samaradorlik va unumdorlikning oshishiga, shuningdek tahdidlar sonining cheklanishiga olib keladi. Texnologiya integratsiyasi hisoblanuvchi Big Data biznes-razvedka vositalari bilan (Biznes Aqyn) quyidagilarga imkon beradi:
- javonlarda tovarlar yo'qligi davrlarini aniqlash yordamida iste'molchilar talabining prognozini takomillashtirish;
– iste'molchilar talabini ongli tahlil qilish yordamida xaridlar samaradorligini oshirish;
- tovarlar chakana narxlarining o'zgarishi ta'sirini hisobga olgan holda inventarlarning optimal qiymatini aniqlash;
– assortiment va assortimentni rejalashtirishni boshqarish; – raf chakana maydonni boshqarish;
– tovarlarni yetkazish dasturini rejalashtirish;
– inventarlar balanslarini eng kam yo'qotishlar bilan taqsimlash;

• 
  savdo operatsiyalarining samaradorligi va sifatini oshirish.
  

Korxona tomonidan olib borilgan tadqiqotlar natijalariga ko'ra Obyektiv Logistika Savdo POS-tizimi orqali oyiga o'rtacha 3-15 million tranzaktsiya amalga oshiriladi, bu esa 8 GB gacha bo'lgan ma'lumotlar oqimini keltirib chiqaradi. Ma'lumotlar oqimini tahlil qilish asosida, mijoz har bir mahsulot bilan birga nima sotib olishini, ma'lum turdagi tovarlarning mashhurligini bilib olish imkoniga ega bo’ladilar. Bu logistikani tovar ehtiyojlaridagi burilishlarga (portlashlar yoki muvaffaqiyatsizliklar) moslashtirish va qo'shimcha pul topish imkonini beradi;
• Xaridlarni shaxsiylashtirish. Ko'pgina savdo tashkilotlari bir necha yillardan beri o'z mijozlarining savdo operatsiyalari to'g'risida gigabayt ma'lumot to'plab kelmoqdalar. Siz ularni xaridorlarning kredit kartalari orqali aniqlashingiz va kuzatib borishingiz mumkin. Ushbu ma'lumotlarni analitik qayta ishlash xaridorlarning didi va afzalliklarini aniqlash imkonini beradi, bu esa yangi shaxsiylashtirilgan savdo strategiyalariga olib keladi. Bundan tashqari, texnologiyaning standart usullarini qo'llash Katta Maʼlumotlar bank sektorida qayd etilgan soxta harakatlarning 50-60% ni aniqlash imkonini beradi. Elektron texnologiyalarni joriy etish prognozi Savdo Elektron tijoratning kelgusida sezilarli ta'sir ko'rsatishiga olib kelishi mumkin:
• Texnologiya. Raqamli hisoblash va kommunikatsion texnologiyalarning roli oshmoqda. Texnologiya tijorat faoliyatining ko'payishi tufayli rivojlanadi. Shaxsiy bulutli xizmatlar foydalanuvchining shaxsiy kompyuterining o’rnini egallashi kutilmoqda;
• Biznes. Bunda yangi biznes texnologiyalari va mahsulot ishlab chiqarishning yangi yoʻnalishlarini joriy etish koʻzda tutilgan. Natijada: - AK foydasi barcha savdo-sotiqning tipik darajasiga moyil bo'ladi; - AK o'yinchilari guruhlari tuBDn o'zgaradi; - oflayn/Onlayn-do'konlar rivojlanishi natijasida muvaffaqiyatli onlayn-do'konlar soni kamayadi;
• Ijtimoiylik. Ijtimoiy tarmoqlarning individuallik, ommaviylik, universal qulaylik kabi intellektual jihatlari AKning rivojlanishiga ta'sir ko'rsatishda davom etadi;
• O’quv mashg'uloti. AKning rivojlanishiga kompyuter fanlari, menejment fanlari, axborot tizimlari, marketing, moliya va buxgalteriya, sotsiologiya bo'yicha treninglar ta'sir ko'rsatishi mumkin.
Axborot texnologiyalarining rivojlanishi AKning rivojlanishiga bevosita ta'sir ko'rsatadi. IDC analitik kompaniyasining prognoziga ko'ra, Big Data narxi, va korxona ilovalari tahlili natijalariga ko’ra kelgusi yillarda o'sadi. Big Data maʼruza ishlash, ma'lumotlarni strukturali boshqarish, ma'lumotlarga kirish, ma'lumotlarni tahlil qilish va yetkazib berishga katta yordam berishi mumkin. Analitik Gartner kompaniyasi kelgusi yillar uchun axborot texnologiyalarini joriy etishning quyidagi asosiy yo'nalishlarini belgilab beradi: 1) shaxsiy hisoblash uskunalarini ishlab chiqarish faoliyati jarayonida BIG DATAni qo'llashni kengaytirish. Biznes jarayonlarda BYOD texnologiyasi mehnatdan foydalanish samaradorligini ancha oshiradi; 2) mobil qurilmalar uchun dasturlarning o'sishi va katta dasturlar sonining kamayishi. Korxonalarning ishlashi uchun zarur bo'lgan biznes-dasturlarni ishlab chiqish uchun asosiy muhit sifatida HTML5 dasturlash tilidan va brauzeridan foydalanish sezilarli darajada oshadi. Natijada, keng ko'lamli qurilmalar brauzerlarida ishlaydigan ixcham, yuqori ixtisoslashgan dasturlar o'sishda davom etadi, bu esa foydalanuvchilarning mobilligini oshiradi. Shu bilan birga, ko’p sonli murojaatlar soni kamaya boshlaydi; 3) Internetga kirishni kuchaytirish. Internetga kirish uchun mobil uskunalar va avtomobillar va televizorlar kabi iste'molchilar qurilmalari kabi tadbirkorlik resurslaridan foydalanish kerak. Hozirgi vaqtda buning uchun faqat kompyuterlar va mobil qurilmalar ishlatiladi; 4) xususiy va ommaviy bulut texnologiyalarini birlashtirishni rivojlantirish. Tadbirkorlikda xorijiy bulut texnologiyalari, ommaviy bulut texnologiyalari va ularning ommaviy bulut xizmatlari bilan yanada integratsiyalashishi, shuningdek, statik integratsiyadan yanada dinamik foydalanishga oʻtishi kutilmoqda. bulutli xizmat ko'rsatuvchi provayderlar; 5) bulutli mijoz arxitekturasi bulutli server imkoniyatlaridan ko'proq foydalanishga o'tmoqda. Mijoz hisoblash qurilmasi yordamida internet orqali bulutli dasturlar to'plamiga ulanadi. Bulutli dasturlar elastik va o'lchovli hisoblash platformasida joylashtirilgan. Mijoz xohlovchi muhit alohida dastur bo'lishi yoki hisoblash qurilmasining brauzeri asosida bo'lishi mumkin; 6) mijoz tomonidan shaxsiy bulutdan foydalanish, unga foydalanuvchining turli xil hisoblash qurilmalari (kompyuter, smartfon, planshet kompyuter) yordamida kirish imkoniyati mavjud. Boshqarish va himoya qilish obyekti foydalanuvchining hisoblash qurilmasi emas, balki bulutli xizmatlar va bulutda saqlanayotgan ma'lumotlarga kirishi hisoblanadi; virtualizatsiya va virtual mashinalar uchun ilovalarni keng qabul qilish. Hozirda Virtual foydalanuvchilar soni jismoniy foydalanuvchilar sonidan oshib ketgan. Bitta jismoniy serverdagi virtual mashinalar soni bir necha o'nlab bo'lishi mumkin. Ekspertlarning hisob-kitoblariga ko'ra, hozirgi biznes dasturlarining 70-90 foizi hozirda virtual ko’rinishdadir, 10-30 foizi esa jismoniy holatda ishlaydi. Bu nisbat virtual mashinalar foydasiga oshib boraveradi. yagona standartlarga o'tish - biznesni avtomatlashtirish va axborotlashtirish uchun zarur shart. Yagona standartlarga o'tish soddalik, xarajat va samaradorlik bilan daromad keltiradi. Oxirgi foydalanuvchilarga IT xizmatlarini ko'rsatish, ularning faoliyatini ko'paytirish va sanoat rahbarlari tomonidan ishlab chiqilgan dinamizmlarini ko'paytirish bo'yicha innovatsion echimlar barcha IT-ga, shu jumladan korxonaning ichki IT-infratuzilmasiga uzatilishi kerak. "Aqlli" qurilmalar keng tarqalyapdi. Masalan, aqlli shaxsiy yordamchilar, "aqlli" maslahatchilar (IBM kabi) shular jumlasiga kiradi. AKda innovatsion biznes texnologiyalariga quyidagilar kiradi: multichannel, onlayn va oflayn sotish texnologiyalarining interpenetratsiyasi, bank va bank bo'lmagan to'lov terminallaridan va elektron to'lov tizimlaridan faol foydalanish. Biz har kuni ma'lumotlarni ishlab chiqaramiz: Google orqali qidiruv, Facebookni tomosha qilish yoki fotosuratlarni Instagramga yuklash. Axborotning bu oqimi bir-birimiz bilan va dunyo bilan oʻzaro aloqamizni sezilarli darajada oʻzgartiradi. Big Data imkoniyatdir, bu kuchli vosita bo'lib, muammolarni hal qilish va savollar tug'dirish uchun ishlatilishi mumkin. Big Data hayotimizni o'zgartirishi aniq, yagona savol - tanish kundalik hayot nimaga aylanishi - Yer yuzidagi jannat yoki dystopiya (Qaysi stsenariyga ko’ra o’zgaradi?)tushunchasi “Katta Maʼlumotlar” aniq fanlarni anglatadi, lekin ko'plab tushunchalar singari aniq ta'rifga ega emas. Mualliflar bu tushunchani turlicha talqin qiladilar. "Big Data" tushunchasi asosiy freymlar va unga bog'liq ilmiy kompyuter hisoblash davrida paydo bo'lgan, shuning uchun yuqori darajali hisoblash har doim murakkab bo'lgan va odatda katta miqdordagi axborotlarni qayta ishlash zarurati bilan uzluksiz bog'liq bo'lgan. "Katta Maʼlumotlar» atamasini birinchilardan bo'lib qo'llanganlardan biri Edi Yahyo Mashy (Yuniyo Fermer xoʻjaligi firmasi asoschisi), texnologiya kompaniyalarining maslahatchisi va 1998 yilda Kaliforniya shtatidagi Mountain View shahridagi Kompyuter tarixi muzeyining ishonchli vakili. “Katta Maʼlumotlar” Yahyo Mashy yuqori texnologiyalar jamoasi a'zolari orasida atamani ommalashtirishni maqsad qilmagan. "Men bir necha savollar uchun bitta yorliqdan foydalandim. Eng oddiy va eng qisqa jumla hisoblash chegaralari kengayishda davom etmoqda, deb aytishini istardim", - deydi Jon Masha. " Katta Maʼlumotlar" atamasi Kimga Yahanno Mashy 1998 yilda u boshqa texnologiyalar bilan bir qatorda xxi asrda iqtisodiy o'sish uchun katalizatorga aylandi. 2001-yilda Dag Leyni (Dag Laney tadqiqotlari natijalarini e'lon qildi, bunda u Big Dataning uchta asosiy parametrini aniqladi: hajmi (Disk qismi), tezlik (Tezlik), xilma-xillik Keyinchalik asosiy parametrlar soni beshga ko'paydi: hajmi (ovoz balandligi), tezlik (tezlik), nav (xilma-xillik), ishonchlilik (haqiqiylik), qadoqlash (qiymat). Hozirda asosiy parametrlar qo'shildi: hayotiylik (rivojlanish mumkin), o'zgaruvchanlik (o'zgaruvchanlik), vizualizatsiya (vizualizatsiya). Ushbu parametrlarning barchasi dinamikdir. Masalan, birinchi parametr katta hajmlar, agar vaqt jadvalini ko'rib chiqsak, u holda bir necha yil oldin an'anaviy ma'lumotlar bazalarida (gigabaytdan terabaytgacha) saqlangan hajmlar shartli ravishda "Big Data" ga bog'liq bo'lishi mumkin. Aniq ma’lumot berishning imkoni yo'q, "Big Data" 10 terabayt yoki 10 megabayt bo’lishi mumkin, "Big Data" nomi juda subyektivdir. "Katta" so'zi primitiv qabilalarda "bir, ikki, ko'p" kabi bo’lgan’. Har yili geometrik jihatdan axborot hajmining o'sishi 66-67 marotabaga oshadi va kelajakda bu o'sish yanada tez sur'atlar bilan ortadi.. Axborotning avariyaga o'xshash o'sishi axborotni raqamlashtirish zaruratiga olib keldi va XX asr oxiridan boshlab raqamli axborot analog axborotning o'rnini bosa boshladi. 2012-yilda analog va raqamli ma'lumotning ulushi tenglashtirildi va bu yil raqamlashtirish chegarasiga aylandi. Mutaxassislar allaqachon bizning odatlarimiz, qiziqishlarimiz va kundalik quvonchlarimizni raqamlar qatoriga aylantirdilar - endi bu ma'lumotlarni qanday qilib yo'q qilishni tushunishimiz kerak. Biz kichik ma'lumotlarni ko'rib chiqib, nimani anglatishini, nimani anglatishini o'ylardik, dunyoni tushunishga harakat qilardik, endi bizda ko'proq ma'lumotlar bor. Bizda esa ma'lumotlarning katta qismi bo'lganda, ma'lumotlar kichikroq bo'lganda qila olmaydigan ishlarni qilishimiz mumkin. Ma'lumot (ma'lumotlar) statsionar, statik narsadan hozirgi va dinamik narsaga o'tdi. Aksincha, Edvard olgan barcha fayllarni Stouden Oʻzbekiston Milliy xavfsizlik agentligi tomoq hajmidagi xotira kartasiga joylashtiradi va uni yorugʻlik tezligida taqsimlash mumkin. "Big Data" atamasi ma'lumotlarni kiritish, saqlash, boshqarish va tahlil qilish uchun hajmi tipik ma'lumotlar bazalari (DB) imkoniyatlaridan oshib ketadigan ma'lumotlar to'plamlarini anglatadi. An'anaviy ma'lumotlar bazalari va Big Data bazalari o’rtasida farq katta. Uning mashhur iborasi Katta Maʼlumotlar jurnalning maxsus sonida maqola e'lon qilingandan so'ng olingan Tabiat 2008 yil 3 sentyabr jurnali portlovchi o'sish fenomeni haqidagi qayta ishlangan ma'lumotlarning xilma-xilligi va texnologik istiqbollari materiallarga bag'ishlandi. 2012 yildan boshlab "Big Data" atamasi moda mavzuga aylandi. Bu termin jamiyat rivoji uchun juda muhim vosita boʻlgani uchun reklama qilinadi. Bugungi dunyoda ko'plab kompaniyalar Big Datani raqobatchilar ustidan mutlaq hukmron bo’lish imkoniyati deb hisoblashadi. 2013-yilda atamaning ta'rifi " Katta Maʼlumotlar» deb atalgan Oxford English Dictionary ( Oksford Ingliz tili lug'at, OED).Erkin ensiklopediya materiallarida - "Big Data" atamasi tez-tez uchraydi (inglizcha). Big Data, [ˈbɪɪɪკ ˈdeɪtӑt]) - 2000-yillarning oxirida paydo bo'lgan gorizontal miqyosli dasturiy vositalar bilan samarali ishlov berilgan va an'anaviy ma'lumotlar bazasini boshqarish tizimlari va sinf echimlariga alternativ bo'lgan ulkan hajmdagi va ilgari tuzilmagan ma'lumotlarni loyihalagan. Keng tarqalganligi va hozirgi raqamli jamiyatda keng qamrovli konsolidatsiyaga ega bo'lishiga qaramay, Big Data tushunchasi fanda eng bahsli tushunchalardan biri bo'lib qolmoqda. Bu tushuncha juda katta hajmdagi va turli xil tarkiBDgi ma'lumotlar bilan ishlashni nazarda tutadi, juda tez-tez yangilanadi va turli manbalarda joylashganligi bilan ajralib turadi. Barcha atamalarda "Big Data" - bu murakkab tushuncha ekanligini ko’rish mumkin: − to'g'ridan-to'g'ri ma'lumotlar; - ma'lumotlar bilan ishlash texnologiyalari to'plami (zamonaviy biznes bozorda raqobatlasha olmaydigan texnologiya); - Ma'lumotshunoslikda yangi nuqtai nazar, yangi paradigma (ilmiy ma'lumotlar); − Global fenomen, atrof-muhit faktlari. Bugun Katta Maʼlumotlar atamasi odatda, nafaqat ma'lumotlar to'plamlarining o'zini, balki ularni qayta ishlash vositalarini va astoydil tahlil natijasida olinishi mumkin bo'lgan foydalarni nazarda tutish uchun ishlatiladi.
Big Data manbalari. Biz axborot asrida – raqamli iqtisodiyot davrida yashayapmiz. Juda ko'p manbalar ma'lumot hosil qiladi. An'anaviy ravishda, Big Data manbalari ichki va tashqi manbalarga bo'linishi mumkin. Ichki manbalar: ERP, klassifikatorlar, CRM. Tashqi manbalar: ijtimoiy tarmoqlar, Internet, ixtisoslashgan, Maʼlumotlar toʻplami. Biz tobora o'zimizni sun'iy yo'ldoshlar tarmog'i bilan o'rab, skanerlar, kameralar va tuzilmagan ma'lumotlarni yaratadigan boshqa tuzatish qurilmalari - bu o'lchash uskunalaridan doimiy ravishda kiruvchi ma'lumotlar, radio chastotasi identifikatorlari va boshqalardir. Big Dataga odatiy misol turli jismoniy qurilmalardan kelayotgan ma'lumotlardir. Masalan, katta miqdordagi ma'lumotlarni ishlab chiqaradigan va ular ustida amallar bajaradigan Katta Hadron to'qnashuvi (sekundiga petabyte tezlikdagi ma'lumotlar , yiliga 150 zettabyte ma'lumot, boshqa barcha manbalardan ko'ra ko'proq). Qurilma uzluksiz ravishda ko'p miqdordagi ma'lumotlarni ishlab chiqaradi va olimlar ularning yordami bilan ko'plab muammolarni parallel ravishda hal qilishadi. Hozirda 400 dan ortiq Yerning masofadan ishlovchi sunʼiy yoʻldoshlari ishlamoqda. Ko'pgina sun'iy yo'ldosh tizimlarining ma'lumotlari jamoat joylarida mavjud, ma'lumotlarning mavjudligi sun'iy yo'ldosh tizimlari haqida ma’lumot olishga imkon beradi. 2026-yilga borib orbitada 1000 dan ortiq sun’iy yo’ldosh ishlashi rejalashtirilgan. Chilida 2024 yilga borib, dunyodagi eng yirik teleskopni qurishni yakunlash rejalashtirilgan bo'lib, uning yordamida 40 milliard obyekt haqida ma'lumot(60 mingdan ortiq Petabayt) olish mumkin bo'ladi. Kosmik teleskop »Gaia2013 yilda ishga tushirilgan bo'lib, u milliardlab astronomik obyektlarning uch o'lchovli katalogini yaratish uchun ma'lumotlarni to'playdi. Har kuni 30 dan ortiq sunʼiy yoʻldoshlar 8 dan ortiq atrof-muhitni nazorat qilish sunʼiy yoʻldoshlari haqida ma’lumot (Terabayt hajmli) uzatadi. Radioteleskop o'rnidan turib ishga tushib bo'lgandan so'ng ,Kvadrat Kilometr Ariza (SKA) – zamonamizning eng yirik astronomik loyihasi bo'lib, u juda katta miqdordagi xom ma'lumotlarni hosil qiladi: taxminan 1 exobyte kuniga, bu World Wide Web-ning bugungi kundagi trafik hajmiga yoki xotiraning umumiy hajmiga to'g'ri keladi 15 million 64 GB iPad-ov. Ma'lumotlarni siqishdan so'ng radioteleskop ma'lumotlarining kunlik miqdorini 1 petabaytgacha kamaytirish mumkin. SKA har yili ishlab chiqaradigan milliardlab terabaytlik maʼlumotlar hozirgi genomika va klimatologiya maʼlumotlar bazalaridan ancha yuqori. O'z hisobotini jurnalga taqdim etgan PLoS Biologiya tadqiqot uyushmasining genetiklari 2025 yilga kelib 100 milliondan 2 milliardgacha odamning genomlari to'g'risida ma'lumotlarga ega bo'ladilar. Ushbu miqdordagi ma'lumotlarni saqlash uchun sizga 2 dan 40 eksabaytgacha bo'sh joy kerak. Bitta genom haqidagi ma'lumotlarni saqlash uchun zarur bo'lgan ma'lumotlar miqdori genomning o'zidan 30 barobar katta. Tadqiqot mualliflari toʻplangan genetik maʼlumotlar portalda maʼlumotlarni saqlash boʻyicha prognoz qilingan yillik talaBDn oshib ketadi, degan xulosaga kelishdi.Qo’shimcha qiladigan bo’lsak, You Tube 2025-yilga qadar 1-2 exabaytga muhtoj bo'ladi, Nyu-York fond birjasi har kuni yangi ma'lumotlarni ishlab chiqaradi, Facebook ijtimoiy tarmog’ida saqlanadigan ma’lumotlar har kuni taxminan 500 terabayt oshadi, Internet Arxivlash loyihasi oyiga 20 terabaytga o'sadi. Ommaviy makonda Big Dataning paydo bo'lishi, bu ma'lumotlar nafaqat ilmiy hamjamiyatga, balki uzoq vaqt davomida hal qilingan insoniyat taqdiriga ham ta'sir ko'rsatadi. Barchamiz ma'lumotlarni mobil telefonlarimiz, sensorlar, ijtimoiy tarmoqlar, xarid operatsiyalari va GPS signallarimiz yordamida yaratamiz. Bu sensorli ma'lumotlar, jurnal fayllari, audio va video fayllarga ega bo'lgan axborot interneti oqimlari, qo'ng'iroq markazlari qo'ng'iroq jurnallari bilan hamda korxona va tashkilotlarning ichki ma'lumotlaridan, tibbiyot va bioinformatika sohalaridan, astronomik kuzatishlardan hosil bo’lmoqda. Ijtimoiy tarmoqlarda (YouTube, Facebook, Vkontaktebuda) va odamlarning e’tiborini tortadigan boshqa loyihalarda jamlangan kontaktlar yetti milliarddan ortiq va ular bir vaqtning o'zida bajaradigan operatsiyalar soni juda katta. Mamlakatlar orasida hosil boʻlgan maʼlumotlar hajmi boʻyicha Xitoy birinchi oʻrinda turadi. Keyingi yillarda samoviy imperiyaning boʻshligʻi faqat koʻpaymoqda. IDC tahlilchilari tomonidan birgalikda o'tkazilgan tadqiqot natijalariga ko'ra Seagate, 2018 yilda Xitoy kompaniyalari va iste'molchilari 7,6 Zbeit ma'lumotlar ishlatishgan, AQSSda esa bu ko'rsatkich 6,9 Zbeit. 2025 yilda ushbu mamlakatlarda ma'lumotlar 48,6 va 30, 6 Zbeit hajmda hosil bo'lishi bashorat qilinmoqda. Global ko'rsatkichlarga kelsak, 2018 yilda 33 Zbeit ma'lumot e'lon qilindi va 2025-yilda bunday ma’lumot miqdori dunyoda 175 Zbeit bo'ladi. Doimiy ravishda kiruvchi ma'lumotlarning bunday ulkan oqimini bartaraf etish tobora qiyinlashib bormoqda. Ma'lumotlarni saqlash joylari muammoning faqat bir qismidir, chunki olingan ma'lumotlarni olish, tarqatish va tahlil qilish bo'yicha hisoblash talablari yanada yuqori bo'ladi. Strukturali, tuzilmagan va aralash ma'lumotlarni to'plash, boshqarish, tartibga solish, tahlil qilish, ularga kirish va tarqatish imkoniyatiga ega bo'lgan dasturiy ta'minotga ehtiyoj ortib bormoqda. Bunday dasturiy ta'minotning savdosi har yili o'sib bormoqda: 2015 yilda - 37.5 milliard dollar.2017-yil - 166.4, 2019-yilda - 189.1 milliard dollarga etadi. 2022 yilga kelib u 274,3 milliard dollarga o'sadi. Kompaniyaning hisob-kitoblariga ko'ra Sovuq & Sallivan 2021 yilda global Big Data tahlili bozorining umumiy hajmi 2016-yilga nisbatan 2.5 martadan ko'proqqa oshadi va 67.2 milliard dollarni tashkil etadi, yillik o'sish sur'ati (CAGR) 35.9% ni tashkil etadi. Shu bilan birga, eng yirik bozor segmentlari ishlab chiqarish sektori, moliya, sog'liqni saqlash, atrof-muhitni muhofaza qilish (EIA) va chakana savdo bo'ladi, deb xabar beradi TAdviser ichida Sovuq & Sallivan 2019-yil 28-yanvar . 2019-yilda eng yirik bozor sektori IT-xizmatlar (77,5 mlrd. soʻm) boʻldi. Uskunalarni sotib olish uchun 23,7 milliard dollar, biznes xizmatlari uchun to'lash uchun esa 20,7 milliard dollar ajratilgan. Katta maʼlumotlar dasturiy taʼminotining sotilishi 67,2 milliard dollargacha oʻsadi. Ularning 70% dan ortig'i dasturiy ta'minotning an'anaviy on-premises versiyalari bo'lsa-da, bulutli versiyalarni sotish kelgusi besh yilda tez sur'atlar bilan o'sadi - yiliga o'rtacha 32.3%. Bulutli texnologiyalar, ayniqsa professional, shaxsiy va iste'molchilar xizmatlari va media texnologiyalar sohalarida yanada istiqbolli hisoblanadi. Ishlab chiqarish sohasidagi Big Data tahlili bozorining rivojlanishi, asosan, aqlli sanoatning yaratilishiga xos bo'lgan "Sanoat 4.0" ning umumiy tendentsiyasi bilan belgilanadi. Chakana savdo, sog'liqni saqlash, bank va moliya sohasida Katta Maʼlumotlar (BD) so'nggi bir necha yil davomida qo'llanilib kelmoqda, yaqin kelajakda shaxsiylashtirilgan xizmatlar yo'nalishi keng qo'llaniladi, EFO tahliliga ko’ra ayniqsa rivojlanayotgan mamlakatlarda Osiyo-Tinch okeani Mintaqasida, Big Data tahlili qimmatli ma'lumotlar to'plamlarini aniqlash katta, murakkab axborot tendentsiyalarni aniq aniqlash, ishlab chiqarish ko'rsatkichlarini bashorat qilish va xarajatlarni optimallashtirish va ko'pincha tuzilmagan ma'lumotlar to'plamlarini tahlil qilishni o'z ichiga oladi..Ishlab chiqarish segmenti va boshqa sanoat tarmoqlarida tahlilchilar BDga bo'lgan talabning oshganini qayd etishmoqda. Vakillarga ko'ra Sovuq & Sallivan, BD qo'llash mijozlar ehtiyojlarini chuqur tushunish imkonini beradi, bu aqlli bank uchun ayniqsa muhim ahamiyatga ega. Moliyaviy segmentda xizmatlarni shaxsiylashtirish, firibgarlikni aniqlash va boshqa masalalar uchun Big Data tahlilidan foydalaniladi. Shuningdek, katta maʼlumotlar tahlili xorijiy kompaniyalar va davlat tashkilotlari tomonidan atrof-muhit xavflarini baholash, resurslardan foydalanishni optimallashtirish va atrof-muhit tartib-qoidalariga rioya etilishini taʼminlash uchun yanada koʻproq qoʻllanilmoqda. Global Oʻrmon Kuzatish – amalga oshirilgan o'rmonlarni muhofaza qilish loyihalaridan biri. Loyiha boshlanganida va 2013-yilda BD yechimlari amalga oshirilgach, Amazonkadagi o'rmonlarning maydalanish darajasi 2004-yilga qaraganda 80% ga kamaygan. 2025 yilga borib, foydalanish ko'lami va Big Data tahlilini amalga oshiruvchi loyihalar soni ham sezilarli darajada oshadi. Xususan, BD bureal vaqt rejimida xavfni boshqarish kabi sohalarda qo'llaniladi. “Blokcheyn- tahlil qilingan obyektlarni analitika va masofadan turib nazorat qilish”, deb hisoblaydi mutaxassis. Katta Maʼlumotlar Texnologiyasi uzluksiz o'sish sharoitida samarali, inson tomonidan sezilgan natijalarni olish uchun ulkan hajmdagi va muhim xilma-xillik tuzilgan va tuzilmagan ma'lumotlarni qayta ishlashning bir qator yo'nalishlari, vositalari va usullaridir. Big Data bir necha yillardan beri mavjud bo'lsa-da, ilgari ahamiyatli qiymatga ega emas edi, chunki ularni qayta ishlash va tahlil qilish qiyin edi, chunki bu katta hisoblash quvvati, uzoq vaqt va moliyaviy xarajatlarni talab qildi. Ishlov berish texnologiyasi paydo bo'lganda hamma narsa o'zgardi. Ushbu sohada erishilgan yutuq erkin taqsimlanadigan, Hadoop kompaniyasi ishlovchi kutubxonalar, utilitalar va shart-sharoitlarni o'z ichiga olgan platformaning bozorga kirishi bilan bog'liq. Hadoop Komponentlari bugungi kunda SAP, Oracle, IBM kabi ko'pgina savdo platformalarida va tizimlarida ishlatiladi. Mutaxassislarning ta'kidlashicha, Big Data vositalari bozorining kelajagi universal platformalar doirasida turli yechimlarning konvergentsiyasidir. Uning o'sishining asosiy yo'nalishi texnologiyalarni o'rganish va neyron tarmoqlar bo'ladi va bu foydalanuvchilar soni keskin ko'payishiga olib keladi. Buning asosiy sababi ma'lumotlar bilan ishlashda tobora muhim rol o'ynashni boshlayotgan professional bo'lmagan tahlilchilardir. Zamonaviy RDBMSda ishni tezlashtirish uchun ular massiv parallel ishlov berishdan foydalanadilar, ma'lumotlarni kichik guruhlarga bo'lib parchalaydilar va ko'plab tugunlarda bir vaqtning o'zida ishlov beradilar. Massiv parallel Obabotka (MPP) tarqatilgan ma'lumotlarni bir vaqtning o'zida ishlaydigan bir nechta noutbuklarga tarqatish orqali ma'lumotlarni qayta ishlaydi. Olingan ma'lumotlar asosida umumiy natija yig'iladi, bunda Sql so'rov tilidan foydalaniladi. MPP shuningdek, Big Data bilan ishlash uchun dasturiy ta'minot va apparat komplekslarida qo'llaniladi. Big Data tahlilini o'tkazish uchun turli usullar qo'llaniladi, ular orasida biz eng mashhur 19 usullarini / to'plamlarini ajratishimiz mumkin.
Big Dataga qo'llaniladigan tahlil usullari va uslublari: ˗ sinf usullari Maʼlumotlar klassifikatsiyasi, O'quv Associativ qoidalari assotsiatsiya qoida o'rganish), tasniflash (avval mavjud bo'lgan ma'lumotlarga nisbatan qo'llanilgan printsiplarga asoslangan yangi ma'lumotlarni turkumlash usullari), klaster tahlili, regressiya tahlili, ˗ ommaviy oferta asosida ishtirok etgan, mehnat munosabatlariga kirmasdan, keng, muddatsiz doiradagi shaxslar tomonidan ma'lumotlarni turkumlash va boyitish, ˗ Ma'lumotlarni aralashtirish va umumlashtirish (Inglizcha: Mixing and Integrating Data) – turli xil manbalardan olingan heterogen ma'lumotlarni chuqur tahlil qilish imkoniyatini beruvchi texnikalar to'plami, bu usul raqamli signallarni qayta ishlash va tabiiy tillarni qayta ishlash (shu jumladan tonal tahlil) kabi usullarning namunalarini keltirib chiqargan; ˗ Mashina o'rganish, shu jumladan o'qituvchilarga asoslangan va unspooled o'rganish, va Birgalikda o'rganish ( ingliz tilida) - asosiy modellar asosida murakkab prognozlarni olish uchun statistik tahlil yoki mashina o'rganish asosida qurilgan modellardan foydalanish (eng. Are modellar, statistik mexanikadagi statsionarlar ansambli); ˗ sun'iy neyron tarmoqlar, tarmoqni tahlil qilish, optimallashtirish, shu jumladan genetik algoritmlar; ˗ namunani tanib olish; bashoratli analitika, ˗ simulyatsiya modellashtirish; fazoviy tahlil (Inglizcha: Spatial Analysis, Fazoviy tahlil qilish) – ma'lumotlarda topologik, geometrik va geografik ma'lumotlardan foydalanadigan usullar sinfi; ˗ statistik tahlillar, usullardan namunalar A / B-test va vaqt seriyali tahlil qilinadi; ˗ tahliliy ma'lumotlarni vizualizatsiya qilish – natijalarni olish va qo'shimcha tahlil qilish uchun kirish ma'lumotlari sifatida foydalanish uchun interaktiv xususiyatlar va animatsiyalardan foydalangan holda raqamlar, diagrammalar ko'rinishidagi ma'lumotlarni taqdim etish. Katta Maʼlumotlar inson faoliyatining deyarli barcha sohalarida, foydali bo'lishi mumkin bo'lgan texnologiyalarning to'liq ishlashidan tarkib topgan: tibbiyot va jamoat tartibini himoya qilishdan tortib marketing va sotishgacha. Katta texnologiyalardan foydalanish ko’lami kundan-kunga oshib bormoqda. Masalan, Big Data yordamida siz mijozlarning afzalliklari, ishlab chiqarish samaradorligi yoki xavf tahlilini o'tkazish haqida bilib olishingiz mumkin. Katta Maʼlumotlar biznesning ko'plab sohalarida keng tarqalgan va kompaniyalar, korxonalar, tashkilotlarning rivojlanishida muhim rol o'ynaydigan o'rganilgan texnologiyaning sohasidir, shunga qaramay Big Datadan foydalanmasdan turib ishlashingiz mumkin bo'lgan sohani tanlash qiyin. Shuning uchun, hozirda bozorda raqobatbardosh bo'lib qolish uchun xarajatlarni kamaytirishga intilayotgan kompaniyalar bu texnologiyadan foydalanishlari kerak. BIG DATA ularga ishlab chiqarish, logistika va boshqaruv sohasida axborotni qayta ishlash xarajatlarini kamaytirish ko'rinishida sezilarli iqtisodiy ta'sir ko'rsatish imkonini beradi. Katta IT kompaniyalari bugungi kunda ma'lumotlarning asosiy manbaidir. Masalan, Google qidiruv dasturi Xarita hajmini kichraytirish bo'linmasini yaratdi, uning maqsadi o'z dasturchilarini mashina o'rganish texnologiyalari bo'yicha o'qitishdir va bu ularning raqobatbardosh afzalligi: yangi bilimlarga ega bo'lgandan so'ng, xodimlar ushbu loyihalarda yangi usullarni qo'llaydilar. Tasavvur qiling, kampaniya inqilob qilishi mumkin boʻlgan sohalar roʻyxati qanchalik katta. Bir misol: BIG DATA neyron tarmoqlarning ma'lumotlar markazlarida energiya sarfini optimallashtirish uchun ishlatiladi. Apple Korporatsiyasi qidiruv jarayoni doimo katta halmda bo’ladi va barcha mahsulotlarida bu texnologiyani o’zlashtirishni amalga oshirmoqda. Uning afzalligi kundalik hayotda ishlatiladigan barcha raqamli qurilmalarni o'z ichiga olgan katta ekotizimning mavjudligi. Bu Applekompaniyasiga erishi bo’lmas darajaga yetishhga imkon beradi: kampaniyada boshqa kompaniyalardigek foydalanuvchi ma'lumotlari saqlanmaydi. Big Data turli murakkablikdagi turli xil muammolarni hal qilish imkonini beradi, masalan, iqlim o'zgarishini prognoz qilish, kriptografiyaning funktsional muammolari, yadro elektr stansiyalarining xavfsizligini hisoblash, jismlarning gaz-dinamik oqimini modellashtirish (samolyotlar, avtoulovlar, shaharda havo massalarining harakatlanishi, dori-darmonlarni modellashtirish, genom tahlil qilish (gen faoliyati, katta kosmologik jarayonlar to'g'risidagi ma'lumotlarga asoslangan tibbiy xavflarni bashorat qilish), yangi materiallarni yaratish, neft ishlab chiqarish va boshqalar fundamental va qo'llangan vazifalar. Quyida Big Datadan foydalanishga misollar keltiramiz. Avtomobil sanoatidagi Big Data: zamonaviy avtomobil - bu saqlash qurilmasi: u haydovchi, atrof-muhit, ulangan qurilmalar va o'zi haqidagi barcha ma'lumotlarni to'playdi. Tez orada elektr transport vositalarini birlashtiruvchi vazifasini bajaruvchi tarmoqqa ulangan bitta transport vositasi Tesla Model S, soatiga 25 Gb ma'lumot hosil qiladi. Hozir ma'lumotlarni to'plashning yanada zo'rroq usuli lobbizm qilinmoqda, bu o'z ichiga to'liq katta hajmli maʼlumotlarni oladi. Bu sizga quyidagilar haqida ma’lumot beradi: haydovchining holati, masalan, turish muammosi, odamning qanday qilib hozir o'tirganligi to'g'risida ma'lumot to'plash imkonini beradi; oyoqlarning uzunligiga, orqa tomonga qarab har bir kishi turlicha o'tiradi va agar siz har bir o'rindiqqa sensorlar o'rnatsangiz, odamlarning har biri uchun alohida indeksni, barmoq izlariga o'xshash narsani ko'rishingiz mumkin. Tokio olimlari buni mashinalar uchun avtomobilga qarshi ehtimoliy ogohlantirish tizimi deb ta’kidlashmoqda. Va agar hamma joyda bunday texnologiya bo'lsa, nima qilish mumkin edi? Keyingi 5 soniyada halokat sodir bo'lishi mumkinligi haqida sizni eng yaxshi ogohlantiradigan asboblar paneli chiroqlarini aniqlashi mumkin. Va keyin siz haydovchining qay darajada charchaganini bilib olishingiz mumkin, ushbu ma'lumotlarga asoslanib, "avtomobil" haydovchining qachon "charchoq" maqomiga tushib qolganligini aniqlay oladi, boshqaruv g'ildiragining tebranishi, kabina tepasi, yo'lni kuzatishga bo'lgan e'tibor, ichki signalni avtomatik ravishda aniqlaydi va yuboradi. Bu turdagi ishlarni hayotimizning yanada ko'proq tomonlarini hujjatlashtirishda amalga oshirish mumkin. Big Datadan foydalanish mashinani yanada xavfsiz va funktsional qilishga yordam beradi. Shunday qilib, Toyota kompaniyasi axborot kommunikatsiyasi modullarini (DCM) o'zlashtirish orqali yangi avtomobillarni Toyota Katta Maʼlumotlar Markazini qurishmoqda. Ushbu vosita Big Data bilan ishlatiladi, DCM tomonidan to'plangan ma'lumotlarni qayta ishlaydi va undan yanada ko'proq foyda olish uchun tahlil qiladi.
Chakana savdoda Big Data. Foydalanuvchilarning so'rovlarini qabul qilish va javob berish Big Data asboblarini qo'llashning eng katta va ommaviy ravishda qamrab olingan sohalaridan biri hisoblanadi. Katta chakana xizmatlar o'z mijozlarining xulq-atvor ma'lumotlaridan biznesni targ'ib qilish uchun foydalanadi. Chakana savdodagi Big Data iste'molchilar haqida turli ma'lumotlar, ularning xarid tarixi, har bir qabul haqida batafsil ma'lumotlar, e'tiborni jalb qilgan chegirmalar, turli do'konlarga tashrif buyurish faktlari va boshqalardan iborat bo'lishi mumkin. Marketing tadqiqotlarida Big Datadan foydalanish maqsadli iste'molchining eng aniq portretini yaratishga imkon berdi, marketing "xabarlari" va ma'lum bir mahsulotning takliflariga iste'molchilarning reaktsiyasini bashorat qilish, reklama xabarlarini shaxsiylashtirish, ishlab chiqarish va tarqatish strategiyasini optimallashtirish, raqamli marketing va reklama va ta'lim kampaniyalarini yaratish, eng kam xarajatlar orqali ko'proq mijozlarni saqlash, kompaniyaning o'z mahsuloti haqida yaxshiroq tasavvurga ega bo’lishga imkon berdi. O'z ishida analitikadan foydalanish uchun biznes bilan shug’ullanuvchi ichki va tashqi manbalardan ma'lumotlarni to'plash va saqlashni o'rganishi kerak. Buning uchun katta maʼlumotlardan foydalanishdan olinadigan foyda va foydani chiqarish yoʻllari va usullarini aniqlash, katta maʼlumotlardan foydalanish strategiyasini ishlab chiqish zarur. Amazon, Uber va Netflix kabi yirik kompaniyalar Big Datadan foydalanish biznesning turli xil jihatlari uchun - yangi mahsulotlarni ishlab chiqishdan tortib, eng mashhur filmlarni bashorat qilishgacha bo’lgan ma’lumotlarni o’z ichiga oladi. Big Data nafaqat katta hajm bilan, balki an'anaviy matematikaga bo'ysunadigan maxsus tuzilma bilan ham aniqlanadi. Ushbu turdagi ma'lumotlarni qayta ishlash uchun ba'zan tezroq sanab o'tadigan algoritmlar kerak bo’ladi.
Tibbiyotda Big Data. Tibbiy sohada Big Data texnologiyasini amalga oshirish orqali Big Data shifokorlarga kasallikni yanada diqqat bilan o'rganish va muayyan holat uchun samarali davolash kursini tanlash imkonini beradi. Axborot tahlili tufayli sog'liqni saqlash xodimlariga relapslarni bashorat qilish va profilaktika choralarini ko'rish osonlashadi. Natijada, yanada aniq tashxis va takomillashtirilgan davolash usullari. Yangi usul narigi tomondan bemorlarning muammolarini ko'rib chiqish imkonini yaratdi, bu esa muammoning ilgari noma'lum manbalari topilishiga olib keldi. Ma'lumotlarni to'plash va tahlil qilish bemorlar haqida ko'proq ma'lumot olish imkonini beradi: oziq-ovqat va turmush tarzidagi afzalliklardan tortib, DNKning genetik tuzilishi va hujayralar, to'qimalar, organlarning metabolitlarigacha. Ta'kidlash kerakki, Kanzas-Sitidagi Pediatriya genomik tibbiyot markazi ma'lumotlarni tahlil qilish texnologiyalaridan foydalanib, bemorlarning DNK-sini tezda o'chirib tashlaydi va saraton kasalligini keltirib chiqaradigan genetik koddagi mutatsiyalarni tahlil qiladi. Har bir bemorga individual yondashuv, uning DNK-sini hisobga olgan holda, davolanish samaradorligini sifat jihatidan turli darajaga ko'taradi. Yaqinda tadqiqotchilar saraton biopsiyalari haqida hayron bo'lib, kompyuterdan ma'lumotlar va tiriklik darajasini tahlil qilish orqali hujayralarda saraton kasalligi bo'lganmi yoki yo'qmi, aniqlashga intilishdi va albatta, mashina o'rganish algoritmi orqali etarli miqdordagi ma'lumotlar mavjud bo'lganda, ko'krak saratoni hujayralarining bu biopsiyasi haqiqatan ham saraton ekanligini eng yaxshi bashorat qiladigan 12 ta belgini aniqladi, ulardan faqat 9 tasi tibbiy adabiyotlarda tilga olingan. Oldinroq uchta belgi maʼlum boʻlmagan, ammo mashina ularni topgan. Big Data bugungi kunda qonun va tartibni ham qoʻriqlashmoqda. So'nggi bir necha yil ichida huquqni muhofaza qilish organlari Big Datadan qanday va qachon foydalanishni aniqlashga muvaffaq bo'lishdi. Terrorchilik harakatlari va kichik jinoyatlarning oldini olish uchun katta maʼlumotlar texnologiyalaridan foydalanish muhim ahamiyatga ega. Big Data iste’mol sohasining rivojlanishini belgilaydi. Suv, gaz va elektrdan kelayotgan ma'lumotlarni yig'ish va tahlil qilish imkoniyatidir shuningdek u uy-joy darajasida ham, uy-joy va kommunal xizmat ko'rsatish korxonalari miqyosida ham resurslarni oqilona iste'mol qilish yo'lidagi birinchi va asosiy qadamdir. Shuningdek, banklar va sug'urta kompaniyalari mijozlar, ularning xatti-harakatlari, moliyaviy operatsiyalari va hatto shahar atrofida ham, butun dunyoda ham harakatlar to'g'risida ma'lumot to'plash imkoniyatiga ega. Bank o'z mijozlari hayotidagi muhim voqealarning sanalarini belgilashi mumkin - to'y, bola tug'ilishi, ish o'zgarishi, ko'chirish va boshqalar. Ushbu ma'lumotlar sotuvlarni ko'paytirish va mijozlar sadoqati ustida ishlash uchun ishlatilishi mumkin. Shunday qilib, "Sberbank" ko'plab sohalarda Big Data va mashina o'rganishdan foydalanadi, shu jumladan kredit skoringida ham o’ziga mos o’ringa ega. Kompaniya muammolarni hal qilish uchun nafaqat ijtimoiy-demografik parametrlar, kredit tarixi, tranzaktsiya tarixi, moliyaviy hisobotlar, balki bir qator an'anaviy ma'lumotlardan ham foydalanadi. Kredit skoringi uchun Sberbank pul o'tkazmalari va ijtimoiy tarmoqlardan olingan ma'lumotlar to'g'risidagi ma'lumotlar asosida qurilgan mijozlar bilan munosabatlar grafiklaridan ham foydalanadi. Kompaniyalarning kredit skoringi uchun yangiliklar matnlari qo'llaniladi, ular uchun avtomatik his-tuyg'ularni tahlil qilish amalga oshiriladi. 2015 yildan boshlab kompaniya matbuotga mobil operatorlardan olingan ma'lumotlarni qo'shdi, bu esa klassifikatorning Gini koeffitsienti bo'yicha sifatini oshirdi. Ko'p sonli faol SIM-kartalar va ularning qisqa muddatlari, kichik va ko'p sonli hisoblarni to'ldirishni, qo'ng'iroqlarning shubhali geografiyasini, firibgarlikni ko'rsatadi va kreditga arizani tasdiqlash ehtimolini kamaytiradi. Telekommunikatsiya kompaniyalarida Big Data ulangan qurilmalardan barcha xizmat ko'rsatish ma'lumotlari, xizmatdan foydalanish tarixi, geolokatsiya ma'lumotlari va hatto tahlil qilish mumkin bo'lgan barcha trafik, SMS matnlarini ham ko’rishingiz mumkin. Operatorlar bunday ma'lumotlarga ega, ammo "Shaxsiy ma'lumotlar to'g'risida"gi qonunga binoan qurilma egasining roziligisiz bu ma’lumotlardan foydalana olmaydilar. Ammo ular, shaxsiy ma'lumotlardan tozalangan trafikni to'liq matnli tahlil qilishlari mumkin. Telekomda Big Datadan foydalaniladigan asosiy narsa iste'molchilarning xatti-harakatlari va afzalliklariga muvofiq mijozlarning turi bo'yicha yanada aniqroq segmentlanishidir. Telekommunikatsiya operatorlari marketologlari mijozlar haqida ko'proq bilib, ularga yanada aniqroq takliflar kiritishlari, qo'shimcha xizmatlardan foydalanishlari, sadoqatlarini saqlab qolishlari va shu bilan ular haqida ko'proq ma'lumotga ega bo'lishlari mumkin. Global tendentsiya shundaki, Big Data ushbu mijozlar segmentlarining hajmini aniqlashga yordam beradi. Bunday shaxsiylashtirilgan marketing kelajak masalasidir. Foydalanishdan tashqari Katta Maʼlumotlar marketing maqsadlari uchun, aloqa operatorlari (Biroq, banklar kabi) bunday texnologiyalardan foydalanib, holatlarni aniqlashi va oldini olishi mumkin. Bundan tashqari, operatorlar iste'molchilar to'g'risida juda katta miqdordagi ma'lumotlarning egalari sifatida iqtisodiy ekotizimning markaziga aylanishi mumkin, bu esa boshqa sohalardan kelgan sherik kompaniyalarga mijozlarga kirish imkoniyatini beradi. Eng oddiy holatda operator marketing aloqalari kanaliga aylanishi mumkin, ya'ni oddiygina hamkor kompaniyaga reklama yuborishi mumkin. Ammo buni ommaviy ravishda emas, balki maqsadli ravishda, xabarni unga qiziqishi mumkin bo'lgan odamlarga to'g'ri yo'naltirishadi. Masalan, yangi kosmetika do'konidagi xaridlarga chegirmalar faqat yaqin atrofda yashovchi ayollarga taqdim etiladi. Yoʻllarda yoʻl-transport toʻsiqlarida soatlab bekor oʻtirganlarga reklama audiokitoblari berilishi mumkin. Bunday ma'lumotlarni vizuallashtirish katta qiyinchilik tug'diradi. Katta ma'lumotlar to'plamlarida ma'no topish uchun avvalo ularni jamlash kerak. Ushbu muammoni hal qilish uchun geografik axborot tizimlarida (GIS) vosita - fazoviy tahlil mavjud. Dunyo maʼlumotlarining qariyb 80 foizini GISdagi maʼlumotlar qatlamlari sifatida xaritaga tushirish mumkin. Bu tasvirlar va ma'lumotlarga, vektor qatlamlarining ulkan qatoriga, tavsiflovchi va jadvalli ma'lumotlar bazalariga, videolarga, real vaqt rejimida va tarixiy to'plamlarga, sensorli ma'lumotlarga va kuzatuv nuqtalarining katta bulutlariga tegishli. Bulutli hisoblashning hozirgi rivojlanish darajasi bilan O'zbekistonda GIS ma'lumotlari yanada keng ko’lamda ommaga e'lon qilinmoqda. Veb-platformalar juda ko'p ma'lumotlar manbalaridan olingan ma'lumotlarni real vaqtda sintez qilish va vizualizatsiya qilish imkoniyatini beradi. Bu turli sohalardagi ma'lumotlardan chiqarilgan tegishli, aniq va o'z vaqtida olingan ma'lumotlarga asoslangan ma'lumotli qarorlar qabul qilish imkonini beradi. Big Datadan foydalanish yagona geografik axborot makonini qo'llab-quvvatlash va undan foydalanish doirasida Internetga kirishni ta'minlash ko'lamini chetlab o'tmaydi. Ushbu sohadagi tadqiqotlar doirasiga to'plangan axborotning xossalari, parametrlari va tuzilmalari, tarqatilgan ishlov berish texnologiyalari, ma'lumotlarni boshqarish, shakllantirish va ulardan foydalanish, ko'p o'lchamli fazoviy modellashtirish, internetda vakillik xizmati kiradi. Yaratilgan geoinformatsiya maydoni umumiy axborot maydonining ajralmas qismiga aylanadi va Big Dataning tahliliga asoslanib, atrofimizdagi dunyo ob'ektlarining fazoviy xususiyatlarini ko'rsatish imkoniyatini beradi. Yagona geografik axborot makoni bilan ishlashda Internet tarmog'iga kirishni samarali ta'minlash uchun monitoring asosida olingan Big Dataning ixtisoslashtirilgan reyestrini tashkil etish zarur. Axborot tarkibini aniqlash mavzu sohasi ma'lumotlarni tizimlashtirish, ularni saqlash tuzilmasini shakllantirish va reyestrdagi ma'lumotlarning miqdoriy va sifat tarkibini bosqichma-bosqich ko'paytirish imkoniyatini beradi. Bu yo'nalishda ilmiy-tadqiqot ishlari olib borildi Rybnitskiy T.G. Shevchenko PSU filiali birinchi urinishda ma'lumotlarni to'pladi va tahlil qildi, ular "katta" deb da'vo qila olmaydi, ammo tadqiqotning boshi boshlandi, ArkGIS tadqiqotni amalga oshirish tizimi tanlandi. Tizimda ArkGIS xaritada ko'rsatish va unda fazoviy tahlilni amalga oshirish uchun ma'lumotlarni filtrlab tayyorladi. Tizim ArkGIS nafaqat katta miqdordagi ma'lumotlarni, balki ma'lumotlarni ham farqlanuvchi turlar bilan birlashtirish imkonini beradi. Fazoviy tahlil brauzerda ham, ish stoli geografik axborot tizimida ham bajarildi. Tadqiqot 23 ta qishloqda o'tkazilgan Rybnitskogo Tuman: Andreevka, Pykolovo, Schmalena, KolbasnaKatta Sut o'tlari, Belochi, Broštyany, Butuchany, Vadaturkovo, Voronkovo, Axvantintsy, Gʻidirim, Yerzhovo, Zhura, Krasnenkoe, Maly Sut o'tlari, Mixaylovka, Mokra, Flesh, Popenki, Sovetskoye, Ulm, Lenino. Aholi qanday foydali internet dasturlaridan foydalanmoqchi ekanligi to'g'risidagi ma'lumotlar tahlili shuni ko'rsatdiki, afsuski asosiy ulush muloqot va o'yin-kulgi bo’lgan. Masalan, qishloqlar rahbarlaridan asbob-uskunalarni ulash bo'yicha davlat boshqaruviga kelib tushgan murojaatlar tahlili shuni ko'rsatdiki, Malyda Molokishe qishloq klubida 3 tadan 5 tagacha shaxsiy kompyuterlar va 3 tadan 5 ta noutbukgacha talab mavjud. Mukra qishlog'ida bolalar bog'chasi va madaniyat uyi uchun bitta kompyuter kerak bo’ladi. Popenkida madaniyat uyida 3 ta shaxsiy kompyuter yoki 3 ta noutbuk, shuningdek bolalar bog'chasida 1 ta shaxsiy kompyuter va 1 ta noutbukga ehtiyoj bor.+
Quyida zamonaviy qoplama turlari keltirilgan: − CDMA 450, CDMA 800/ EDVO, LTE/4G. CDMA 450 MHz (IMT-MC-450) yangi avlod texnologik kompleksi bo'lib, ovoz uzatishning eng yuqori sifatini va nihoyatda yuqori ma'lumotlarni uzatish tezligini birlashtiradi. CDMA Kod Boʻlinishni Koʻpaytirishga Murojaat - kodni bo'lish orqali bir nechta kirish - bu bir xil chastota diapazonidagi kanallarga ega bo'lgan, ammo kod modulyatsiyasi bo'yicha bir-biridan farq qiluvchi mobil aloqa texnologiyasi. Katta miqdordagi ma'lumotlarni uzatish imkoniyati Amerika kompaniyasi ishlab chiquvchilari tomonidan qo'yildi, Qualcomm Ma'lumotlarni uzatish telefon tizimidagi "add-on" deb ataladigan GSM standartidan farqli o'laroq" odatiy bo'ladi. 99 ta mamlakatning 250 dan ortiq operatorlari cdMA texnologiyalaridan turli chastotali bandlarda foydalanadi (450/800/900/2000 MHz). Rossiyada CDMA texnologiyasi 450 MHz chastota oralig'ida rivojlanmoqda, chunki u NMT-450i tarmoqlarini bosqichma-bosqich "raqamlashtirish" uchun eng mos standart sifatida tan olingan.
CDMA 450 MHz standartining afzalliklari. 1. Shovqinni yo'q qilish va suhbatlarni yuqori darajada maxfiyligi - dastlab standart AQSh qurolli kuchlari uchun ishlab chiqilgan. Signalni bilmasdan deshifrlash deyarli mumkin emas. 2. Tarmoq sig'imi oshib, ham ovozli, ham ma'lumotlar trafigidagi cheksiz ulanishlarni amalga oshirishni ta'minlaydi 3. Kanallarning qatʼiy soni yoʻq. Yuk ortishi bilan ma'lumotlarni uzatish paketlaridagi yo'qotishlar ko'payadi, lekin ulanishlar buzilmaydi. 4. Ma'lumotlarni uzatishning yuqori tezligi, internetda to'liq ishlaydigan ishni amalga oshirish va barcha imkoniyatlardan foydalanish imkonini beradi “masofaviy ofis" mobil telefondan foydalangan holda ham, kompyuterga ulash orqali ham biznes yechimlarni topib bera oladi. Uyali telefonlarning xavfsizlik darajasi boshqa standartlarning uskunalari bilan solishtirganda sezilarli darajada yuqori (zamonaviy GSM telefonlarining eng yuqori quvvati 1,0 W ga yaqin bo'lsa, CDMA-telefonlarning bu ko'rsatkichi 0,2 W dan oshmaydi, bu esa, bundan tashqari, qayta zaryadlanmasdan ishlash muddatiga ham foydali ta'sir ko'rsatadi) CDMA 450 tarmoq qamrovi 6. Raqamli simli aloqa liniyalarida ovoz uzatishdagi yuqori sifatli ovozli aloqa. CDMA radio kanalidagi ovozli muloqot uyali aloqaning boshqa turlariga qaraganda sifat jihatidan ustun turadi. 7. Aloqaning maxfiyligini oshirish, ruxsatsiz shaxslar tomonidan quloq solish va to'sib qo'yishdan qo'rqmasdan telefon orqali suhbatlar o'tkazish va ma'lumotlarni uzatish imkonini beradi. 8. Barcha uyali aloqa tizimlarining eng kattasi bazaviy stantsiyalarning tarmoqli kengligi bo'lib, u bir baza stansiyasining katakchasida bir vaqtning o'zida 70-90 ta suhbatni ta'minlash imkonini beradi. Ushbu ko'rsatgichga ko'ra u CDMA GSMdan 5-7 marta, D-AMPS 8-10 martaga oshib ketgan. 9. Tizimda kommunikatsiya kanalining eng arzon birligi, bu esa infratuzilmaga kam investitsiyalar jalb qilinganligi sababli muhim moliyaviy resurslarni tejash uchun tarmoqni joriy etish va joylashtirish bosqichida imkon beradi. 10. CDMA abonent terminallarining atrof-muhit xavfsizligining oshishi. Ushbu ko'rsatgichga ko'ra, CDMA radiotelefonini O'zbekistonda "yashil telefon" deb atashadi. 11. CDMA abonent terminali ko'p funksiyali qurilma bo'lib, kompyuterlar, raqamli va analog fakslar o'rtasida ma'lumotlarni uzatish, shuningdek, Internetga to'g'ridan-to'g'ri kirishni ta'minlash imkonini beradi. Bugungi kunda CDMA tarmog'ida ma'lumot uzatish tezligi 14.4 Kbps ni tashkil etadi, bu boshqa uyali tarmoqlardagi ma’lum bir ko'rsatkichlardan yuqori va bu xizmat allaqachon abonentlarning 30% dan ortig'i tomonidan qo'llab-quvvatlanadi. Bularning barchasi CDMA tarmoqlarida yuqori sifatli xizmatlarni taqdim etish imkonini beradi. 12. Ammo shunga qaramay, CDMA tizimining asosiy afzalligi uning uchinchi avlod aloqa tarmoqlariga ulanishni amalga oshirishdagi asosiy qobiliyatidir. Shu bilan birga, allaqachon o'rnatilgan uskunaning muhim qismi yangi tarmoqlarda qo'llaniladi, bu esa 3G xizmatlarini joriy etishda kapital xarajatlarini sezilarli darajada kamaytiradi. IS-95A tarmoqlarini rivojlantirishning bu bosqichi birinchi bosqich deb ataladi, qo'shimcha kanal tashkil etish bo'yicha (Qo'shimcha Kanal) modernizatsiya qilingan baza stansiyalari muhitida ma'lumotlarni 144 Kbps tezlikda uzatish imkoniga aylanadi. Shu bilan birga, mobil o'chirish markazi (MSC) kompleksiga qo'shimcha paketli ma'lumotlarni uzatish uskunalari joriy etiladi, bu esa Internet va boshqa ma'lumotlar tarmoqlariga to'g'ridan-to'g'ri yuqori tezlikda kirishni ta'minlaydi. Ikkinchi bosqichda esa to'liq namoyon bo'lgan uchinchi avlod uyali aloqa tarmog'i shakllanadi va u 2.45 Mbps gacha tezlikda ma'lumotlarni uzatish imkonini beradi с uyali aloqa tarmog'ining avvalgi 3G1X-bosqichidagi barcha xossalari va dastlabki IS-95 tarmog'ining abonentlar bazasi saqlanishiga sabab bo’ladi. CDMA tarmoqlarining bu bosqichli evolyutsiyasi Bitta Uchinchi avlod uyali aloqa tarmoqlari yo'nalishi bo'yicha CDMA-2000, 800 MHz chastota oralig'ida va 1,25 MHz (birinchi bosqichda) ishlaydigan chastota diapazonida yuzaga kelishi mumkin, bu IS-95A standartidagi uyali aloqa tarmoqlarini joylashtirish uchun CDMA operatorlariga rasmiy ravishda topshirilgan. Bundan keyin Amerika CDMA standarti nafaqat telekommunikatsiya operatorlari va uskunalari ishlab chiqaruvchilarining moliyaviy manfaatlarini, balki eng asosiysi - ma'lum bir vaqtda o'zlari uchun haqiqatan ham kerak bo'ladigan xizmatlar darajasini bemalol tanlay oladigan abonentlarning manfaatlarini hisobga oladi. Agar sizga yuqori sifatli ovozli muloqot va muloqot uchun past tezlikdagi ma'lumot uzatish kerak bo'lsa, siz IS-95A xizmatlarini tanlashingiz mumkin. Agar sizga yuqori tezlikdagi Internetga kirish kerak bo'lsa, terminalingizni o'zgartirishingiz va CDMA-2000-1X xizmatlarini so'rashingiz mumkin. IS-95 dan farqli o'laroq, Evropa uyali aloqa standartlarining hech biri o'z abonentlariga yangi xizmatlarga bosqichma-bosqich o'tishni taklif qila olmaydi. GSMning keng qabul qilinishi NMT-450 ning deyarli to'liq ko'chib ketishiga olib keldi va UMTSning kelgusida joriy etilishi G'arbiy Yevropada GSM tarmoqlarining pasayishiga olib keladi. CDMA tarmoq operatorlari ushbu yo'ldan bormoqda, dasturiy ta'minot darajasini ko'tarib, ma'lumotlarni uzatish tezligini oshirmoqda, aloqa sifatini oshirmoqda va o'z tarmoqlarida barcha yangi xizmat turlarini taqdim etmoqdalar. Ushbu muammolarni hal qilish uchun signalni takrorlovchidan uzoq bo'lgan hududlarda tarmoq qamrovi maydonini kengaytirish zarur. Shuningdek, abonentlarning eng ko'p soni ushbu xizmatlarga muhtoj bo'lgan ustuvor yo'nalishlarni topish, shuningdek muammoli sohalarni aniqlash uchun ishlatiladi. Big Data texnologiyalarini qo'llab-quvvatlayotgan mobil operatorlar xizmat sifatini yaxshilash, mijozlar bilan muloqot kanallari, tahlil va hisobotlarni optimallashtirish, tarmoqni rivojlantirish uchun ma'lumotlarni tahlil qilish, M2M ma'lumotlarini tahlil qilish, firibgarlikka qarshi va spam, xizmatlarni personallashtirishni amalga oshiradi. Texnologiyalarni qo'llash Big Data quyidagi muammolarni hal qilish imkonini beradi: har bir abonent darajasida xizmatlar sifatini boshqarish va o'lchash, spam va mobil firibgarlikka qarshi kurashish, mahsulot va xizmatlarning individual takliflarini shakllantirish, kommunikatsiya infratuzilmasini rivojlantirishni rejalashtirish, shuningdek chakana savdo tarmog'ini rivojlantirish va boshqa ko'p narsalar. Kelgusida telekommunikatsiya kompaniyalari Big Data bilan tez-tez shug'ullanishlari kerak bo'ladi, chunki M2M texnologiyalarining tarqalishi 2020 yilga kelib sayyorada odamlarga qaraganda ancha ko'proq ulangan qurilmalar bo'lishiga olib keladi. Ushbu qurilmalarning har biri ma'lumotlar hosil qiladi va faqatgina mobil ma'lumotlarning oylik trafigi 25 EBDdan oshadi, Big Data texnologiyalari Gʻarb mamlakatlari va Rossiyada keng tarqaldi. Big Dataning buyuk kelajagi borligi shubhasiz va ayni paytda ular axborot texnologiyalarini rivojlantirishning asosiy dvigatellaridan biridir. Ammo Big Dataning qorong'u tomonlari ham borki, ularni unutmaslik kerak va ulardan birinchisi, masalan, politsiya ma'lumotlardan o'z foydasiga foydalanishi mumkin degan fikr, "ehtimolli xavfsizlik" yoki "algoritmik kriminologiya" atamasi mavjud. Agar siz ko'p ma'lumotlarni olib borsangiz, masalan, jinoyatchilikni yaxshilash joylari patrulni qayerga yuborishni bashorat qilishlari mumkin degan fikr. Bu mantiqiy, lekin muammo faqat albatta ish joylashuv ma'lumotlari bilan tugamaydi, bu esa yuridik shaxs darajasiga tushadi. Biologik ma'lumotlarni o'lchaydigan qurilmalar agressiv fikrlar mavjudligini ko'rsatadi. Keyin esa ehtimolli algoritm biz jinoyat sodir etishimizni koʻrsatishi mumkin, harakat lahzasidan oldin ham javobgarlikka tortilishimiz mumkin. Maxfiylik kichik ma'lumotlar davrida katta tashvish bo'lgan. Big Data davrida u juda kuchaytirilgan - bu erkin iroda, tanlov erkinligi, istak erkinligi, harakat erkinligini himoya qilish demakdir. Insoniyat faqat katta maʼlumotlar davriga yaqinlashishda boʻlib, olingan barcha maʼlumotlarni boshqarishni hali oʻrganmagan. Faqatgina xavfsizlik xizmatlari muammo emas, masalan tijorat ko'p ma'lumot to'playdi va uni suiiste'mol qiladi. Siz bu borada aqlli va ehtiyotkor bo'lishingiz kerak, bu taxminan primitiv odam uchun olov muammosiga o'xshaydi. Bu vosita, lekin biz ehtiyot bo'lmasak, bizni yoqib yuboradigan vosita. Yana bir muammo shundaki, katta maʼlumotlar ish oʻrinlari sonini kamaytiradi. Big Data va algoritmlar 20-asrda zavod avtomatlashtirish va konveyerizatsiya ko'p sonli ishchilarni barbod qilganidek, XXI asrda ham oq tanli professionallarning sonini o'zgartiradi. Mutaxassislarning o'z ishida tubdan o'zgarishlarga yoki hatto uning to'liq yo'q qilinishiga duch keladi. Biz texnologiya qisqa vaqt davomida tartibsizlikdan soʻng uzoq vaqt ichida ish oʻrinlari yaratadi, deb oʻylashni yoqtiramiz va biz guvoh boʻlgan realliklarda ham shunga ishonganmiz. Ammo oddiygina yo'q bo'lib ketadigan va hech qachon qaytib kelmaydigan ba'zi toifadagi ishlar mavjud. Big Data hayotimizni, ishimizni, tafakkurimizni o'zgartirmoqda. Ular bizning karyeramizni rivojlantirishga va quvonch va umid, baxt va farovonlikka to'la hayot kechirishimizga yordam beradi, ammo ilgari biz faqat texnologiyani ko'rar edik, chunki bu haqiqiydir. Endi biz kamroq ko'rinadigan, ammo ma'lum darajada muhimroq ma'lumotlarga qarashimiz kerak. Insoniyat nihoyat dunyoni va unda o'z o'rnimizni tushunishga bo'lgan abadiy intilishimiz davomida to'plangan ma'lumotlardan yangi bilimlarni kashf qilishimiz mumkin. Shuning uchun Big Data katta ahamiyatga ega.