3-маъруза. Катта маълумотлар (Big Data): асосий

3. Маълумотларнинг локаллиги.
Маълумотлар жуда кўп сонли ҳисоблаш
тугунлари бўйлаб тақсимланганлиги сабабли, улар битта серверда жойлашган
бўлса ва бошқасида ишлов берилса, маълумотларни узатиш харажатлари асоссиз
равишда ошиб кетиши мумкин. Шунинг учун, улар сақланадиган машинада
маълумотларни қайта ишлашни амалга ошириш мақсадга мувофиқдир.
Ушбу
принциплар
анъанавий,
марказлаштирилган
ва
яхши
тузилган
маълумотларни сақлаш учун вертикал моделлардан фарқ қилади. Шунга кўра,
катта маълумотлар билан ишлаш учун янги ёндашувлар ва технологиялар ишлаб
чиқилмоқда.
Big Data билан ишлаш технологиялар ва тенденциялар
Дастлаб, СУБД NoSQL MapReduce алгоритмлари ва Hadoop лойиҳаси воситалари каби 
номаълум тузилган маълумотларга оммавий равишда параллел равишда ишлов бериш 
усуллари ва технологиялари киритилган. Кейинчалик, бошқа эчимлар катта маълумот 
технологияларига тааллуқли бўлиб, улар катта-катта маълумотлар массивларини, 
шунингдек баъзи бир ускуналарни қайта ишлаш қобилиятларида ўхшаш хусусиятларни 
тақдим этишди.

---

MapReduce
- Google томонидан тақдим этилган компютер кластерларида тақсимланган
параллел ҳисоблаш модели. Ушбу моделга кўра дастур кластер тугунларида
бажариладиган жуда кўп ўхшаш элементар вазифаларга бўлинади ва кейинчалик табиий
равишда якуний натижага туширилади.
•
NoSQL
(инглиз тилидан Not Only SQL) - ҳар хил номутаносиб маълумотлар базалари ва
омборхоналар учун умумий атама бирон бир аниқ технология ёки маҳсулотни
англатмайди. Анъанавий реляцион маълумотлар базалари жуда тез ва бир хил бўлган
сўровлар учун жуда мос келади ва катта маълумотларга хос бўлган мураккаб ва
мослашувчан қурилган сўровларда юк ўртача чегаралардан ошиб кетади ва маълумотлар
базасидан фойдаланиш самарасиз бўлади.
•
Hadoop
- бепул тарқатиладиган ёрдамчи воситалар тўплами, кутубхоналар ва юзлаб ва
минглаб тугунлар кластерларида ишлайдиган тарқатилган дастурларни ишлаб чиқиш ва
бошқариш. У катта маълумотларнинг асосий технологияларидан бири ҳисобланади.

---

•
Р
- статистик маълумотларни ва графикаларни қайта ишлаш учун дастурлаш тили. У
маълумотларни таҳлил қилиш учун кенг қўлланилади ва аслида статистик дастурлар
учун стандарт бўлиб қолди.
•
Ускунa эчимлари
. Teradata, EMC ва бошқа корпорациялар катта маълумотларни
қайта ишлаш учун мўлжалланган аппарат ва дастурий таъминотни таклиф этади. Ушбу
тизимлар серверлар ва оммавий параллел ишлов бериш учун бошқариш дастурларини
ўз ичига олган ўрнатишга тайёр телекоммуникация шкафлари сифатида этказиб
берилади. Бунга баъзан тасодифий кириш хотирасида аналитик ишлов бериш учун
аппарат эчимлари, хусусан, SAP ва Oracle Analytics-дан Hana дастурий таъминоти ва
дастурий таъминотлари киради, гарчи бундай қайта ишлаш дастлаб катта даражада
параллел бўлмаса ҳам ва битта тугуннинг хотира ҳажми чекланган бир неча терабайт
McKinsey консалтинг компанияси аксарият таҳлилчилар томонидан кўриб чиқилган 
NoSQL, MapReduce, Hadoop, Р технологияларига қўшимча равишда, катта 
маълумотларга ишлов бериш шароитида SQL қўллаб-қувватлайдиган Business 
Intelligence технологиялари ва маълумотлар базасини бошқариш тизимларини ҳам ўз 
ичига олади.

---

Катта маълумотлар технологияси