Big data-Úlken kólemli maǵlıwmat (anglichan: Big data) úlken kólem degi ma´lumotlarga salıstırǵanda qo´llanadigan termin esaplanadı

Big data-Úlken kólemli maǵlıwmat (anglichan: Big data) — úlken kólem degi ma´lumotlarga salıstırǵanda qo´llanadigan termin esaplanadı (ádetde terabayt, ekzabayt hám petabaytlar dárejesinde). Bul ma´lumotlarni ámeldegi hám jańa jaratılıp atırǵan texnologiyalar járdeminde to´plash, bólistiriw, o´zgartirishlar kirgiziw, analiz qılıw, saqlaw hám vizual formada súwretlew múmkinshiligi bo´lishi kerek. Ma´lumotlar muǵdarınıń tez o´sishiga so´nggi jıllarda kuzatilayotgan texnologiyalıq rawajlanıw hám bunıń nátiyjesi esaplanmish mashina tárepinen jaratılıp atırǵan ma´lumotlarning ko´payib barıwı baslawshı bolıp tabıladı. RFID-texnologiyasınıń keń tarqalıwı, elektron transaksiyalarning finans salasında keń qo´llanilishi, ilimiy-izertlew mákemeleriniń to´plagan nátiyjeleri, web-texnologiyalarınıń keń tarqalıwı, telekommunikasion sistemalar daǵı protokollar usılar gápinen bolıp tabıladı. Big Data tiykarınan ilimiy-izertlewge baylanıslı tarawlarda aldınan da ámeldegi bo´lgan bo´lsa-de, lekin so´nggi jıllardaǵana bul fenomen ko´proq tilge alınatuǵın bo´ldi. Óytkeni sonda, úlken muǵdardaǵı ma´lumotlarni analiz qılıw endi ekonomikalıq shólkemler tárepinen de keń qo´llanila baslanıwı hám bunıń áqibetinde ma´lumotlar analiziniń básekige shıdamlılıqtı asırıw hám nátiyjelililikti kúsheytiw sıyaqlı zárúrli máselesarda tiykarǵı o´rinni iyelegeni bolıp tabıladı. Big Data ádetiy Bas Informasion Qánige (Chief Information Officer - CIO) ushın qo´shimcha wazıypalar hám talaplar jaratıwdan tısqarı, jańa Ma´lumot Basqarıwshısı (Data Steward) hám Ma´lumot bo´yicha qánige (Data Scientist) sıyaqlı kásiplerdiń payda bo´lishiga alıp keldi.

Qánigeler pikirine kóre, «Big Data», yaǵnıy salmaqlı maǵlıwmat termini kúnine 100 gb. den kóp maǵlıwmat túsetuǵın aǵıslarǵa salıstırǵanda qollanılǵan eken. Keyinirek maǵlıwmatlardıń keskin kóbeyiwi áqibetinde bul túsinik keń qamrov kásip eta baslaǵan. Bul termin ádetde (terabayt, ekzabayt hám petabaytlar dárejesindegi) úlken kólem degi maǵlıwmatlarǵa salıstırǵanda qollanıladı.

Salmaqlı maǵlıwmat termini dáslepki bar baspasózde 2008 jılı payda bolǵan, sonda «Nature» jurnalı bas redaktorı Klifford Linch óz jurnalında úlken kólem degi maǵlıwmatlar menen isleytuǵın texnologiyalar járdeminde ilim keleshegin rawajlandırıw temasında maqala baspadan etken. 2009 jılǵa shekem bul terminge tek ilimiy analiz kózqarasınan yondashilar edi, biraq baspasózde sol temada taǵı bir neshe maqalalar baspadan shıǵarılǵanınan keyin «Big Data» túsiniginen keń paydalana baslandı.

2010 jılda salmaqlı maǵlıwmatlardıń ósip baratırǵan máselelerin sheshiw ushın dáslepki urınıslar baslandı. Úlken informaciyalar aǵımınan paydalanǵande qáwiplerdi kemeytiw ushın mólsherlengen programmalıq ónimler islep shıǵıwǵa kiriwildi.

2011 jılda «Microsoft», «Oracle», EMC hám IBM sıyaqlı iri kompaniyalar salmaqlı maǵlıwmatlarǵa qızıqıp qalıwdı - olar óz rawajlanıw strategiyalarında jetkiliklishe tabısqa erisiw ushın «Big Data» islenbelerinen birinshi bolıp paydalanıwdı baslawdı.Joqarı tálim mákemeleri salmaqlı maǵlıwmatlardı bólek pán retinde úyretiwge 2013 jıldayoq kirdiler - endi bul tarawdıń máseleleri menen tekǵana maǵlıwmatlar haqqındaǵı pán, bálki esaplaw ob'ektleri menen birlesken injenerlik de shuǵıllanadı.Salmaqlı maǵlıwmat túsinigi úlken ólshem degi islerdi atqara alatuǵın operatorlarǵa ushın qollanıladi. Mısal ushın házirde «Google» kompaniyası bir kúnde bir petabaytdan artıq maǵlıwmatlardı qayta isleydi. Bul kórsetkish AQSh Kongressi kitapxanası daǵı materiallardan 100 ese kóbirek degeni.

vvv - kólem, tezlik, túrme-túrlıq Salmaqlı maǵlıwmat termini arqalı shın mániste hár qanday informaciya tasıwshında saqlanıp atırǵan úlken muǵdardaǵı maǵlıwmatlar túsiniledi. Bunnan tısqarı, bul muǵdar kútá úlken bolıp, onı ádetiy programmalıq yamasa apparat támiynatları járdeminde qayta islew múmkin emes, ayırım jaǵdaylarda bolsa ulıwma múmkinshiliksiz.
«Big Data» — bul tek maǵlıwmatlardıń ózi emes, bálki olardı qayta islew hám paydalanıw texnologiyası, kútá úlken aǵıs ishinen kerekli informaciyanı izlew usılı bolıp tabıladı. Salmaqlı maǵlıwmatlar menen isleytuǵın principler - «volume» (kólem), «velocity» (tezlik), «variety» (túrme-túrlıq ) ańlatpaları bul termin menen bekkem baylanısqan. Bul tikkeley saqlanıp atırǵan informaciya muǵdarı, olardı qayta islew tezligi hám túrli-tumanlıǵına baylanıslı process bolıp tabıladı. Sońǵı payıtlarda bul ush bazalıq principke taǵı biri - informaciya ma`nisin ańlatıwshı «value» túsinigi de qosıldı. Yaǵnıy, maǵlıwmattı saqlaw hám qayta islew ǵárejetlerin aqlaw ushın ol teoriyalıq yamasa ámeliy tárepten paydalı hám kerekli bolıwı shárt.
Salmaqlı maǵlıwmatlar dáregi
Mısalı, iri maǵlıwmatlardıń ápiwayı dáregi social tarmaqlardı óz ishine alıwı múmkin - hár bir profil yamasa ǵalabalıq bet ózinde go'yo informaciya okeanı daǵı kishi bir tamshın ańlatadı. Ol yamasa bul profilde saqlanıp atırǵan maǵlıwmatlar sanınan qaramastan, hár bir paydalanıwshınıń óz-ara sherikligi maksimal dárejede tez bolıwı kerek.
Salmaqlı maǵlıwmat ámelde insannıń ómiriniń derlik hár bir salasında toplandı. Buǵan insan iskerligi menen baylanıslı qálegen tarmaqtı kiritse boladı. Bul social ǵalaba xabar quralları da, medicina da, bank jumısı da, sonıń menen birge, apparatlar sisteması, hár kúni qabıl etiletuǵın kóp sanlı informaciyalar nátiyjeleri de, mısalı, astronomık gúzetisler, metrologik maǵlıwmatlar hám Yerni izertlew apparatlarınan alınǵan metrologik maǵlıwmat hám informaciyalar bolıwı múmkin. Real waqıt tártibinde túrli gúzetiw sistemalarınan alınǵan informaciyalar ol yamasa bul kompaniya serverlerine usınıs etiledi. Televidenie hám radioeshittirish, mobil baylanıs operatorları qońırawlar bazası — bular menen hár bir konkret adam minimal dárejede óz-ara baylanıs etedi, biraq bul barlıq informaciyalar ulıwmalasqan halda salmaqlı maǵlıwmatqa aylanadı.

Salmaqlı maǵlıwmatlar texnologiyasın ilimiy-izertlew iskerlik hám biznesten ayrıqsha oyda sawlelendiriw etip bolmaydı. Bunnan tısqarı, olar mámleket basqarıwı salasın da iyelewdi basladı - balshıq jerde jáne de kóbirek nátiyjeli saqlov sistemasın engiziw hám informaciyalardı manipuliatsiya qılıw talap etińip atır.

Ámelde
Jer sharınıń hár bir noqatında óz klientlerine iye jáhánǵa ataqlı kompaniyalar («Facebook», «Google» hám IBM sıyaqlı social náhánler, sonıń menen birge, «Master Card», vISA hám «Bank of America» sıyaqlı finanslıq strukturalar ) olardan paydalanǵannen keyin «Big Data» texnologiyasın zamanagóy dúnya bazarına aktiv qollanıw etiw baslandı. Mısalı, IBM pul ótkermalari operatsiyalarında salmoqi maǵlıwmat usılınan paydalanadı. Usı usıl járdemi menen ótkermalardagi 15 procentten artıq jasama pitimler (hiylekerlik) anıqlanǵan, qorǵawlanǵan pul qarjları bolsa 60 procentke asqan. Sonıń menen birge, sistema daǵı ótirik signallar menen baylanıslı máseleler sheshildi — olardıń sanı yarımınan qo'prog'iga kemeytirildi.
VISA kompaniyası da ol yamasa bul operatsiyada jalataylıqlardı gúzetip barıw ushın «Big Data» texnologiyasınan paydalanadı. Nátiyjede olar hár jılı 2 mlrd. den artıq AQSh dolların «oqish»den saqlap qalıp atır.
Germaniya miynet ministrligi jumıssızlıq boyınsha beriletuǵın pensiya sistemasına salmaqlı maǵlıwmat sistemasın kiritip, ǵárejetlerdi 10 mlrd. yevroga kemeytiwge eristi. Bul puqaralardıń hár besinshisi bul pensiyanı hesh qanday negizsiz alıwına shek qoyıldı, degeni bolıp tabıladı.
Máseleler:
Salmaqlı maǵlıwmatlar mashqalası sonda, on jıllar dawamında jıynalǵan túrli informaciyalar eli hár qanday sistema ushın oǵada zárúrli hám ashıq bolıp qalıp atır. Taǵı bir eń úlken mashqalası olardı qayta islew ǵárejetleri bolıp tabıladı. Buǵan qımbat ásbap -úskeneler, úlken muǵdardaǵı informaciyalarǵa xızmet turpayıatuvchi maman qánigeler mıynet haqı ǵárejetlerin de qosıw múmkin. Shubhasız, ásbap -úskeneler úzliksiz jańalanıp turıwdı talap etedi, olar maǵlıwmatlar kólemi asıwı processinde jumıs natiyjeliligin joǵatmasligi kerek.
Úshinshi mashqala taǵı qayta islew talap etiletuǵın kóp sanlı informaciya menen baylanıslı. Mısalı, izertlewler 2-3 rette emes, bálki kóp sanlı úyreniwlerde nátiyje beredi, sebebi qaysı bolıp tabıladı hádiyse boyınsha haqıyqıy tásirge ıyelew ushın maǵlıwmatlardı ulıwma aǵımnan ajıratıw hám ob'ektiv ataq beriw júdá qıyın.
Informaciyanı joytıw mashqalası. Íqtıyat ilajları bir retlik ápiwayı rezerv maǵlıwmatlardı cheklamaslikni, saqlovning keminde 2-3 ta rezervin tayarlawdı talap etedi. Biraq, kólemdiń asıp barıwı rezervlewdi jáne de quramalılastıradı - AT-qánigeler usı mashqalanıń optimal sheshimin tabıwǵa háreket qılıwıp atır.
Juwmaq ornında búydew múmkin, texnologiyalardan jasırınıp ololmaymiz. «Big Data» dúnyanı ózgertirip atır, az-azdan qalasımızǵa, úyimizge hám gadjetlarimizga kirip barıp atır. Texnologiya planetanı qanday tezlikte iyeleydi - búydew qıyın. Biraq, bir túsinik anıq - «Klinika » serialida Bap Kelso aytqanı sıyaqlı, úrp (tawıq hám bódeneden basqa quslardıń mákiyeni) ni ustap qal yamasa eskicha jasap ótip ket.
Big Data tiykarǵı principlerı:
- Landshaft keńeytiriliwi - maǵlıwmatlar jıynaqları kútá úlken bolıwı múmkin, bul úlken maǵlıwmatlardı qayta islew sisteması olardıń kólemleri asıwı menen dinamikalıq túrde keńeyip barıwın ańlatadı.
- Qátelerge sabırlılıq - eger úskenediń birpara elementleri islemese de, pútkil sistema islewi kerek.
- Maǵlıwmatlar jaylasıwı. Úlken bólistirilgen sistemalarda maǵlıwmatlar ádetde kóplegen mashinalarda tarqaladı. Biraq, ılajı bolǵanınsha hám resursların tejew ushın maǵlıwmatlar kóbinese saqlanatuǵın serverde qayta islenedi.
Big Data sheńberi turaqlı túrde keńeyip barıp atır :

- Úlken maǵlıwmatlardan medicinada paydalanıw múmkin. Sonday etip, nawqas ushın kesellikti anıqlawdı tekǵana medicinalıq tariyxni analiz qılıw maǵlıwmatlarına tıykarlanıp, bálki basqa shıpakerlerdiń tájiriybesin, nawqastıń jasaw jayınıń ekologiyalıq jaǵdayı hám basqa kóplegen faktorlardı esapqa alǵan halda anıqlaw múmkin.

- Úlken maǵlıwmat texnologiyalarınan ushqıshsız transport qurallarınıń háreketin shólkemlestiriw ushın paydalanıw múmkin.
- Úlken kólem degi maǵlıwmatlardı qayta islew arqalı fotosurat hám video materiallar daǵı júzlerdi teńib alıw múmkin.
- Big Data texnologiyalarınan usaqlap satıw satıwshılar paydalanıwları múmkin - sawda kompaniyaları ózleriniń reklama kampaniyaların nátiyjeli shólkemlestiriw ushın social tarmaqlar daǵı maǵlıwmatlar qatarından aktiv paydalanıwları múmkin, olar málim qarıydarlar segmentine jóneltiriliwi múmkin.
Bul texnologiya saylawoldi úgitlerin shólkemlestiriwde, sonday-aq jámiyettegi siyasiy jeńilliklerdi analiz qılıwda aktiv qollanıladı.
Big Data texnologiyalarınan paydalanıw dáramatlar kepilligi (RA) klassi sheshimleri ushın júdá zárúrli bolıp tabıladı, olar arasında finanslıq nátiyjelerdiń tómenlewine alıp keletuǵın múmkin bolǵan joytıwlardı yamasa maǵlıwmatlardıń aynıwın waqıtında anıqlawǵa múmkinshilik beretuǵın maǵlıwmatlardıń tereń analizin kirgiziw múmkin.
Telekommunikatsiya provayderlari úlken maǵlıwmatlardı, sonday-aq geolokatsiyani toplawı múmkin; óz gezeginde, bul maǵlıwmat reklama agentlikleri ushın maqsetli hám jergilikli reklama kórsetiwde paydalanıwı múmkin bolǵan kommerciya qızıǵıwshılıqları bolıwı múmkin, sonıń menen birge, usaqlap satıw satıwshılar hám bankler ushın.
Úlken maǵlıwmatlar málim bir orında adamlardıń kúshli maqsetli aǵımınıń bar ekenligi tuwrısındaǵı maǵlıwmatlarǵa tıykarlanıp, usaqlap satıw sawda dúkanın ashıwǵa qarar qılıwda zárúrli rol oynawı múmkin.
Sonday etip, Big Data texnologiyalarınan eń anıq ámeliy paydalanıw marketingda jatadı. Internet rawajlanıwı hám barlıq túrdegi baylanıs qurallarınıń tarqalıwı menen minez-qulqlar maǵlıwmatları (mısalı, qońırawlar sanı, satıp alıw ádetleri hám satıp alınǵan zatlar ) real waqıtta ámeldegi bolıp atır.
Úlken maǵlıwmat texnologiyalarınan finans, social izertlewler hám basqa kóplegen tarawlarda nátiyjeli paydalanıw múmkin. Qánigelerdiń atap ótiwishe, úlken maǵlıwmatlardan paydalanıwdıń barlıq múmkinshilikleri aysbergning kórinetuǵın bólegi bolıp tabıladı, sebebi bul texnologiyalar razvedka hám kontr-razvedkada, áskeriy jumıslarda, sonıń menen birge, informaciya urısları dep atalatuǵın barlıq zatlarda qollanıladı.Ulıwma alǵanda, Big Data menen islew izbe-izligi maǵlıwmatlardı jıynaw, esabatlar hám basqarıw paneli járdeminde alınǵan maǵlıwmatlardı dúziw hám keyinirek háreketler boyınsha usınıslardı qáliplestiriwden ibarat. Arketingda Big Data texnologiyalarınan paydalanıw múmkinshiliklerin qısqasha kórip shıǵamız. Ekenin aytıw kerek, marketolog ushın maǵlıwmat prognozlaw hám strateglashtirishning tiykarǵı quralı esaplanadı. Maǵlıwmatlardıń úlken analizi uzaq waqıttan berli maqsetli auditoriya, qızıǵıwshılıqlar, talaplar hám qarıydarlardıń aktivligin anıqlaw ushın tabıslı isletilingen. Maǵlıwmatlardıń úlken analizi, atap aytqanda, ónim yamasa xızmetke háwesker qarıydarlarǵa reklamalardı (RTB kim asdı sawdası modeli tiykarında ) kórsetiwge múmkinshilik beredi.
Marketingda Big Data-den paydalanıw isbilermenlerge:
- qarıydarlaringizni jaqsılaw biliw, Internet degi uqsas auditoriyanı tartıw ;
- klienttiń qaniqish dárejesin bahalaw ;
- usınılıp atırǵan xızmet kutilayotgan talaplarǵa juwap beriwin túsiniw;
- klientler isenimin asırıwdıń jańa usılların tabıw hám ámelge asırıw ;
- talap úlken bolǵan joybarlardı jaratıw hám basqalar.

Mısalı, Google. trends marketologga málim bir ónimge máwsimiy talap aktivligi, kliklarning terbelisleri hám geografiyasın prognoz etiwi múmkin. Eger siz bul maǵlıwmattı óz saytıńızda tiyisli plagin tárepinen tóplanǵan statistikalıq maǵlıwmatlar menen salıstırıwlasangiz, ay, region hám basqa parametrlerdi kórsetken halda reklama byudjetin bólistiriw rejesin dúziwińiz múmkin.

Kóplegen izertlewshilerdińdiń pikirine kóre, Trumpning saylawoldi kampaniyasınıń tabısı Big Data-dıń segmentatsiyasi hám isletiliwinde. AQShning bolajaq prezidentiniń jámááti auditoriyanı tuwrı bóliwlay aldı, onıń qálew-tileklerin tushundi hám saylawshılar kóriwdi hám esitiwdi qálegen xabardı anıq kórsetdi. Sonday etip, Data-oraylıq alyansdan Irina Belyshevaning sózlerine kóre, Trumpning jeńisi úlken maǵlıwmat, psixologiyalıq -minez-qulıq analizleri hám jekelestirilgen reklamalarǵa tiykarlanǵan Internet-marketingga standart bolmaǵan jantasıw sebepli múmkin boldı. Big Data menen baylanıslı taǵı bir mashqala etikalıq. Basqasha etip aytqanda, tábiy soraw tuwıladı : bunday maǵlıwmatlardı jıynaw (ásirese paydalanıwshınıń maǵlıwmatisiz) jeke turmıs shegaraların buzıw dep esaplanıwı múmkinbe?
Google hám Yandex qıdırıw sistemalarında saqlanatuǵın maǵlıwmatlar IT náhánlerine turaqlı túrde óz xızmetlerin jetilistiriw, paydalanıwshılarǵa qolay hám jańa interaktiv programmalardı jaratılıwma múmkinshilik beredi. Onıń ushın qıdırıw sistemaları paydalanıwshılardıń Internet degi iskerligi, IP-mánzilleri, geolokatsion maǵlıwmatları, qızıǵıwshılıqlar hám onlayn satıp alınǵan zatlar tuwrısındaǵı maǵlıwmatlar, jeke maǵlıwmatlar, elektron pochta xabarları hám taǵı basqalardı toplaydı. Bulardıń barlıǵı Internet degi paydalanıwshı háreketlerine muwapıq kontekstual reklama kórsetiw imkaniyatın beredi. Usınıń menen birge, ádetde, paydalanıwshılardıń razılıǵı so'ralmaydi hám ózleri haqqında qanday sıpatlama beriwdi tańlaw berilmaydi. Yaǵnıy, únsizlik boyınsha, Big Data bul saytlardıń serverlerinde saqlanatuǵın barlıq zatlardı toplaydı.
Bul maǵlıwmatlardı saqlaw hám olardan paydalanıw qawipsizligin támiyinlew menen baylanıslı náwbettegi zárúrli mashqalaǵa alıp keledi. Mısalı, qarıydarlar óz maǵlıwmatların qawipsiz túrde avtomatikalıq túrde uzatatuǵın arnawlı bir analitik platforma barma? Bunnan tısqarı, kóplegen biznes wákilleri úlken muǵdardaǵı maǵlıwmatlardı nátiyjeli basqarıw hám olardıń járdemi menen arnawlı bir biznes máselelerin hal ete alatuǵın joqarı maman analizshiler hám marketologlarning etiwmesligin aytmoqdalar.

Big Data-ni ámelge asırıw menen baylanıslı barlıq qıyınshılıqlarǵa qaramay, biznes bul tarawǵa investitsiyalardı kóbeytiwdi joybarlawtirmoqda. Gartner izertlewlerine kóre, Big Data-ga qarjı kiritetuǵın tarmaqlar etakchilari media, usaqlap satıw sawda, telekommunikatsiya, bank hám xizmet kórsetiw kompaniyaları esaplanadı.

Big Data menen integraciya sinergistik tásirge iye hám biznes ushın keń múmkinshiliklerdi ashıp beredi, sonday-aq :
- qarıydarlar jeńillikleri tuwrısında tolıq maǵlıwmatqa ıyelew, olar tiykarında anıq jetkizip beretuǵınlar, tovarlar hám ónim strukturalıq bólimleri ushın tolıq analitik profillerdi jaratıw múmkin;
- paydalanıwshılardıń túrli taypaları boyınsha tovarlar gruppaların tutınıw qılıw statistikası hám statistikaları tuwrısındaǵı tolıq maǵlıwmatlardı birlestiriw;
- jetkizip beriw hám tutınıw shınjırları, tasıw waqtında ónimdi joytıw boyınsha tolıq analitik maǵlıwmatlardı alıw (mısalı, ayırım tovarlardıń qurıwı hám puwlanıwı nátiyjesinde salmaq joytıw );
- ónimdi jasamalastırıwǵa qarsı gúresiw, pul juwıw hám jalataylıqqa qarsı gúres natiyjeliligin asırıw hám basqalar. Tovarlardı tutınıw qılıw hám tutınıw qılıw boyınsha tolıq maǵlıwmatlarǵa kirisiw Big Business texnologiyasınıń tiykarǵı biznes processlerin optimallastırıw, tártipke soluvchi xaterlerdi kemeytiw hám ámeldegi qarıydarlar talaplarına eń sáykes keletuǵın ónimlerdi jaratıw ushın jańa múmkinshiliklerdi ashıp beredi.
Ekenin aytıw kerek, iri finans institutları, sonday-aq hám taǵı basqalar wákilleri qashannan berli blockchain texnologiyasına úlken qızıǵıwshılıq kórsetip atırlar. Shveysariyaning UBS finanslıq xoldingining IT-menejeri Oliver Bussmannning sózlerine kóre, blockchain texnologiyası " operatsiyalardı qayta islew waqtın bir neshe kúnden bir neshe minutaǵa shekem kemeytiwga" ılayıq.... Big Data texnologiyasınan paydalanǵan halda blockchain analiziniń múmkinshilikleri kútá úlken. Tarqalǵan kitap texnologiyası maǵlıwmatlardıń pútinligin, sonıń menen birge operatsiyalardıń pútkil tariyxın isenimli hám áshkara saqlawdı támiyinleydi. Big Data, óz gezeginde, nátiyjeli analiz qılıw, prognozlaw, ekonomikalıq modellestiriw ushın jańa qurallardı usınıs etedi hám soǵan uyqas túrde jáne de teń salmaqlılıqlı basqarıw qararların qabıllaw ushın jańa múmkinshiliklerdi ashıp beredi.
Den sawlıqtı saqlawda blockchain hám Big Data tandemidan tabıslı paydalanıw múmkin. Ekenin aytıw kerek, nawqastıń den sawlıǵın tuwrısında tolıqsız hám tolıq bolmaǵan maǵlıwmatlar nadurıs kesellikti anıqlaw qoyıw hám nadurıs emleniw qáwpin asıradı. Medicina mákemeleri klientleriniń den sawlıǵın tuwrısında sın kózqarastan maǵlıwmatlar ılajı bolǵanınsha qawipsiz bolıwı, ózgeriwshenlik qásiyetlerine ıyelewi, tekseriliwi hám hesh qanday manipulyatcıyaǵa dús etilmesligi kerek.
Blokirovkadagi maǵlıwmatlar barlıq kórsetilgen talaplarǵa juwap beredi hám Big Big jańa texnologiyalarınan paydalanǵan halda tereń analiz qılıw ushın joqarı sapalı hám isenimli derek retinde xizmet etiwi múmkin. Bunnan tısqarı, blockchain-den paydalanǵan halda, medicina mákemeleri medicinalıq maǵlıwmatlarǵa mútáj bolǵan qamsızlandırıw kompaniyaları, ádillik shólkemleri, jumıs beretuǵınlar, ilimiy mákemeler hám basqa shólkemler menen isenimli maǵlıwmatlar almasıwları múmkin.
Úlken maǵlıwmatlar hám informaciya qawipsizligi
Keń mániste, informaciya qawipsizligi bul tábiy yamasa jasalma tábiyaattıń tosınarlı yamasa kózkóreki etilgen unamsız tásirinen informaciya qawipsizligi hám járdemshi infratuzilma.
Informaciya qawipsizligi salasında Big Data tómendegi máselelerge dus keledi:
- maǵlıwmatlardı qorǵaw hám olardıń pútinligin támiyinlew máseleleri;
- sırtqı informaciya aralasıwı hám jasırın maǵlıwmatlardıń tarqalıwı qáwipi;
- jasırın maǵlıwmatlardı nadurıs saqlaw ;
- maǵlıwmattı joytıw qáwipi, mısalı, kimning bolıp tabıladı zıyanlı háreketleri sebepli;
- jeke maǵlıwmatlardan úshinshi shaxslar tárepinen nadurıs paydalanıw qáwipi hám basqalar.
Lokchainning tiykarǵı úlken máselelerinen biri informaciya qawipsizligi salasındaǵı ótiriklerdi sheshiwge qaratılǵan. Onıń barlıq tiykarǵı principlerıge ámel etiliwin támiyinlew, tarqatılǵan dápter texnologiyası maǵlıwmatlar pútinligi hám isenimliligin kepillik beriwi múmkin, hám bir buzılǵan noqat joq ekenligi sebepli blockchain informaciya sistemalarınıń islewin turaqlı etedi. Tarqalǵan dápterchali texnologiya maǵlıwmatlarǵa bolǵan isenim mashqalasın sheshiwde járdem beredi, sonıń menen birge onı universal túrde almaslaw múmkinshiligin beredi.
Informaciya zárúrli áhmiyetke iye, sonday eken, informaciya qawipsizliginiń tiykarǵı tárepleri birinshi orınǵa qoyılǵan bolıwı kerek. Básekinen aman qalıw ushın kompaniyalar waqtın artta qaldırishi kerek, bul bolsa blockchain texnologiyası hám Big Data quralları usınıs etetuǵın potentsial múmkinshilik hám jeńilliklerdi itibarsız qaldırmasliklarini ańlatadı.
" Úlken maǵlıwmatlar" - bul derlik barlıq professional konferenciyalarda maǵlıwmatlardı analiz qılıw, boljawlı analizler, maǵlıwmatlardı qıdırıw, CRMga arnalǵan zamanagóy termin. Bul termin úlken muǵdardaǵı maǵlıwmatlar menen islew zárúrli bolǵan, shólkemlestirilgen processga maǵlıwmatlar aǵımı tezligi turaqlı túrde ósip baratuǵın tarawlarda qollanıladı : ekonomika, bank, islep shıǵarıw, marketing, telekommunikatsiya, veb-analiz, medicina hám basqalar.
Maǵlıwmatlardıń tez toplanıwı menen birge, maǵlıwmatlardı analiz qılıw texnologiyaları da jedel rawajlanıp atır. Eger bir neshe jıl aldın, aytaylik, klientlerdi tek sol sıyaqlı jeńilliklerge iye bolǵan gruppalarǵa ajıratıw múmkin bolsa, endi real waqıt rejiminde hár bir klient ushın modeldi qurıw múmkin, mısalı, onıń Internet degi háreketin analiz etip, málim bir ónimdi qıdırıw. Qarıydardıń máplerin analiz qılıw múmkin, hám ornatılǵan modelge muwapıq, tiyisli reklama yamasa anıq usınıslar kórsetiw etiledi. Model, sonıń menen birge real waqıt rejiminde bir neshe jıl aldın oyda sawlelendiriw etip bolmaytuǵın dárejede sazlanıwı hám tikleniwi múmkin.
Telekommunikatsiya salasında, mısalı, uyali telefonlar hám olardıń iyeleriniń jaylasqan jayın anıqlaw ushın texnologiyalar islep shıǵılǵan hám sawda oraylarında reklama maǵlıwmatların sáwlelendirgen " Minority Report 2002" ilimiy-fantastik filminde suwretlengen pikir jaqın orada haqıyqatqa aylanadı. ótip atırǵan anıq adamlardıń máplerin esapqa aldı.
Usınıń menen birge, jańa texnologiyalarǵa bolǵan qızıǵıwshılıq úmitsizlikke alıp keletuǵın jaǵdaylar bar. Mısalı, geyde siyrek maǵlıwmatlar ( Kemrek maǵlıwmatlar ) haqıyqat tuwrısında zárúrli túsinikti usınıs etetuǵın zatlarǵa qaraǵanda talay qımbatlı bolıp tabıladı Úlken maǵlıwmatlar (Big Data) tawlardı xarakteristikalaydı, kóbinese kereksiz maǵlıwmatlar. Big Data qaysı dárejede úlken?
Álbette, bul sorawǵa tuwrı juwap bolıwı kerek - " bul baylanıslı... ".
Zamanagóy tartıslarda Big Data terabayt buyırtpalarında kólem maǵlıwmatları retinde xarakterlenedi.
Ámelde (gigabayt yamasa terabayt haqqında gáp ketkende) bunday maǵlıwmatlardı " dástúriy" maǵlıwmatlar bazaları hám standart apparat (maǵlıwmatlar serveri) járdeminde saqlaw hám basqarıw ańsat.
Programmalıq támiynat STATISTIKA Maǵlıwmatlarǵa kirisiw (oqıw ) algoritmları, boljawlı (hám golli) modellerdi ózgertiw hám qurıw ushın kóp tishli texnologiyadan paydalanadı, sol sebepli bunday maǵlıwmatlar úlgileri ańsatǵana analiz etiliwi múmkin hám arnawlı qurallardı talap etpeydi.
StatSoftning birpara házirgi joybarlarında, 9 -12 million qatarlı buyırtpa úlgileri qayta islenedi. Biz olardı qáwipli yamasa boljawlı modellerdi jaratıw ushın maǵlıwmatlar bazasında tóplanǵan hám shólkemlestirilgen 1000 parametrge (ózgeriwshige) ko'paytiramiz. Bul túrdegi fayl " tek" 100 gigabayt kólemge iye boladı. Bul, álbette, kishi maǵlıwmat bazası emes, lekin onıń kólemi standart maǵlıwmatlar bazası texnologiyasınıń múmkinshiliklerinen aspaydı.
Ónim liniyasi STATISTIKA partiyalardı analiz qılıw hám skoring modelleri ushın ( STATISTIKA kárxanası ), real waqıtta sheshimler ( STATISTIKA janlı dawısı ) hám modellerdi jaratıw hám basqarıw ushın analitik qurallar ( STATISTIKA Data Miner, qarar qılıw ) kóp yadrolı protsessorlarga iye bolǵan bir neshe serverlerge ańsatǵana tarqalıw.
Ámelde, bul operativ qararlardı qabıllawǵa múmkinshilik beretuǵın analitik modellerdiń etarli tezligi (mısalı, kredit qáwipi tuwrısındaǵı prognozlar, jalataylıq múmkinshiligı, úskene túyinleriniń isenimliligi hám basqalar ) derlik mudamı standart qurallardan paydalanıp erisiw múmkinligin ańlatadı. STATISTIKA.

Úlken maǵlıwmattan úlken maǵlıwmatqa

Ádetde Big Data tartısı bir neshe terabaytlarga qaraǵanda ádewir ulken bolǵan maǵlıwmatlar bazaları átirapında (hám bunday dúkanlar tiykarında analiz qılıw ) ótkeriledi.
Atap aytqanda, birpara maǵlıwmat dúkanlarında mińlaǵan terabaytlarga, yaǵnıy petabaytlarga (1000 terabayt \u003 d 1 petabayt) ge shekem ósiwi múmkin.
Petabaytlardan tısqarı maǵlıwmatlar toplanıwın ekzabaytlarda ólshew múmkin, mısalı, dúnya daǵı islep shıǵarıw salasında 2010 jılda jámi 2 ekzabayt jańa maǵlıwmat tóplanǵanlıǵı shama etińip atır (Manyika hám basqalar, 2011)
Úlken maǵlıwmatlardı analiz qılıw
Bul strukturasız Úlken maǵlıwmattı analiz qılıwda kútá úlken mashqala : onı qanday etip paydalı analiz qılıw kerek. Bul másele haqqında maǵlıwmat saqlaw hám Big Data basqarıw texnologiyasınan kóre kemrek zat jazılǵan.
Kórip shıǵilıwı kerek bolǵan bir qatar máseleler bar.
Kartanı kemeytiw
Júzlegen terabayt yamasa petabayt maǵlıwmatların analiz etkende, maǵlıwmatlardı analiz qılıw ushın basqa jayǵa alıp shıǵıp bolmaydı (mısalı, STATISTICA Enterprise analiz serveri).
Kanallar arqalı maǵlıwmatlardı bólek serverge yamasa serverlerge uzatıw procesi (parallel qayta islew ushın ) ap-alıs dawam etedi hám júdá kóp trafik talap etedi.
Bunıń ornına analitik esap -kitaplar maǵlıwmatlar saqlanatuǵın jayǵa jaqın orında ámelge asırılıwı kerek.
Map-Reduce algoritmı bólistirilgen esaplaw ushın model bolıp tabıladı. Onıń islew principi tómendegilerden ibarat : kirisiw maǵlıwmatları qayta qayta islew (map-step) ushın bólistirilgen fayl sistemasınıń jumısshı túyinlerine (individual túyinlerge), keyininen qashannan berli qayta islengen maǵlıwmatlardıń biriktirilishi (qosılıwı ) (qádem-qádem).
Sonday etip, aytıń -ne, úlken summanı esaplaw ushın, algoritm bólistirilgen fayl sistemasınıń hár bir túyinine parallel túrde tómengi nátiyjelerdi esaplab shıǵadı hám keyininen bul tómengi bólimlerdi qosadı.
Internette kartalardı tómenletiw modelinen paydalanǵan halda hár qıylı esap -kitaplardı qanday orınlaw múmkinligi, sonday-aq boljawlı analiz ushın da júdá kóp maǵlıwmatlar bar.
Ápiwayı statistika, biznes intellekt (BI)
Ápiwayı BI esabatı ushın sizge kóp muǵdarda, ortasha kórsetkishler, koefficientler hám basqalardı esaplaw imkaniyatın beretuǵın kóplegen ashıq derekli ónimler bar. kartanı kemeytiw járdeminde.
Sonday etip, esabatlardı tuwrı esaplaw hám basqa ápiwayı statistikalardı alıw júdá ańsat.
Boljawlı modellestiriw, aldıńǵı statistika
Bir qarawda, bólistirilgen fayl sistemasında boljawlı modellerdi jaratıw qıyınlaw tuyulishi múmkin, biraq bul mudamı da sonday emes. Keling, maǵlıwmatlardı analiz qılıwdıń dáslepki basqıshların kórip shıǵayıq.
Maǵlıwmatlardı tayarlaw. Bir muncha waqıt aldın StatSoft elektr stanciyasınıń minutalıq minutaların xarakteristikalaytuǵın kútá úlken maǵlıwmatlar jıynaqların óz ishine alǵan qatar iri hám tabıslı joybarlardı ámelge asırdı. Bul analizdiń maqseti ósimliklerdiń natiyjeliligin asırıw hám emissiyalarni kemeytiw edi (Elektr Energiya Izertlew Institutı, 2009 ).
Maǵlıwmatlar jıynaqları kútá úlken bolıwına qaramay, olardaǵı maǵlıwmatlar talay kishi bolıwı zárúrli bolıp tabıladı.

Mısalı, hár sekundta yamasa hár bir minutada maǵlıwmatlar toplanıp barar eken, kóp parametrler (gazlar hám pechlar temperaturası, aǵıslar, amortizatorlarning jaǵdayı hám basqalar ) uzaq waqıt dawamında turaqlı bolıp qalıp atır. Basqasha etip aytqanda, hár bir sekundta jazılǵan maǵlıwmatlar tiykarınan birdey maǵlıwmatlardıń tákirarlanıwı bolıp tabıladı.

Sonday etip, elektr stanciyasınıń natiyjeliligi hám shıǵındılar muǵdarına tásir etiwshi dinamikalıq ózgerisler haqqında tek kerekli maǵlıwmatlardı óz ishine alǵan maǵlıwmattı " sanalı" jıynaw, modellestiriw hám optimallastırıw ushın maǵlıwmat alıw kerek.

Tekstlerdi klassifikaciyalaw hám maǵlıwmatlardı dáslepki islew. Úlken maǵlıwmatlar jıynaqları onsha paydalı bolmaǵan maǵlıwmatlardı qaysı tárzde óz ishine alıwı múmkinligin taǵı bir bar kórseteylik.

Mısalı, StatSoft tvitlar arqalı jolawshılardı aviakompaniyalar hám olardıń xızmetlerinen qaniqishlarini sáwlelendiriwshi tvit joybarlarında qatnasdı.

Kóp sanlı tiyisli tvitlar hár saatta hám bir márte alınıwına qaramay, olarda aytılǵan pikirler júdá ápiwayı hám birdey edi. Xabarlardıń ko'pi shaǵımlar hám " jaman tájiriybe" haqqında bir atap aytqanda kelgen qısqa xabarlar bolıp tabıladı. Bunnan tısqarı, bul pikirlerdiń sanı hám " kúshi" waqıt ótiwi menen hám arnawlı bir máselelerde (mısalı, joǵalǵan bagaj, jaman azıq-túlik, reysni bıykarlaw ) salıstırǵanda turaqlı bolıp tabıladı.

Sonday etip, haqıyqıy tvitlarni tekst islep shıǵarıw usıllarınan paydalanǵan halda (mısalı, ámelge asırılǵanlar sıyaqlı ) keyipti tómenletiw STATISTIKA Text Miner), nátiyjede talay kem maǵlıwmatlarǵa alıp keledi, bul bolsa ámeldegi dúzilgen maǵlıwmatlar (ańsatǵana shıptalar satıwı yamasa tez-tez uchadigan maǵlıwmatlar ) menen ańsatǵana baylanısıwı múmkin. Analiz klientlerdi gruppalarǵa bolıw hám olardıń ádetiy shaǵımların kórip shıǵıwǵa múmkinshilik beredi.

Bul analiz procesin ańsatlashtiradigan bólistirilgen fayl sistemasında maǵlıwmatlardıń bunday jıynalısın ámelge asırıw ushın kóplegen qurallar ámeldegi (mısalı, pikirlew tezligi).

Qurılıs modelleri
Kóbinese qıyınshılıq bólistirilgen fayl sistemasında saqlanatuǵın maǵlıwmatlar ushın anıq modellerdi demde jaratıw bolıp tabıladı.

Bólistirilgen fayl sistemasında maǵlıwmatlardı keń kólemli parallel qayta islew ushın sáykes keletuǵın hár qıylı maǵlıwmat islep shıǵarıw / boljaw etiwshi analiz algoritmları ushın kartalardı kemeytiw programmaları ámeldegi (platforma tárepinen qollap -quwatlanıwı múmkin) STATISTIKA StatSoft).

Biraq, siz júdá kóp muǵdardaǵı maǵlıwmatlardı qayta islegenińiz sebepli, aqırǵı model haqıyqattan da anıqlaw ekenligine aminmisiz?

Tiykarınan, tarqatılǵan fayl sistemasında kishi maǵlıwmatlar segmentleri ushın modellerdi jaratıw qolaylaw bolıp tabıladı.

Jaqında Forresterning esabatında aytılǵanı sıyaqlı, " Eki plyus eki eki 3. 9 ǵa teń, ádetde jaqsı" (Xopkins hám Evelson, 2011).

Statistikalıq hám matematikalıq anıqlıq, sızıqlı regressiya modeli, mısalı, tuwrı dúzilgen 10 boljaw etiwshin óz ishine alǵanlıǵında bolıp tabıladı. itimallıq úlgisi 100000 gúzetiwden 100 million gúzetiw menen jaratılǵan model sıyaqlı anıqlaw boladı.

Tek erinshek adamlar Úlken maǵlıwmatlar haqqında sóylewmeydi, lekin olar ne ekenligin hám qanday islewin túsiniw qıyın. Eń ápiwayı - terminologiyadan baslaylik. Orıs tilinde sóyleseńiz, Úlken maǵlıwmatlar bul hár túrlı qurallar, jantasıwlar hám usıllar bolıp, olar strukturalanǵan hám strukturaytuǵın maǵlıwmatlardan málim wazıypalar hám maqsetlerde paydalanıw ushın paydalanıladı.