Шта је МапРедуце?
МапРедуце програмски оквир користи се за обављање дистрибуиране и паралелне обраде са великим скуповима података у дистрибуираном окружењу. Мап анд Редуце су два различита задатка програма за смањење мапа. Испрва се у фази мапирања читају подаци и из њих се генерирају парови кључ и вриједност. Тада се ови парови кључ-вредност убацују у задатак смањења који обједињује податке пара кључ-вредност у мањи скуп вредности стварајући коначни излаз. Стога се задатак смањења увек спроводи након што је задатак карте завршен. Обрада података је врло једноставна за скалирање на више рачунских чворова.
У програму су наиме три фазе:
- Стаге на мапи
- Схуффле Стаге
- Смањите фазу
Пример :
Вордцоунт проблем-
Претпоставимо да су испод унесени подаци:
- Мике Јон Јаке
- Паул Паул Јаке
- Мајк Пол Џон
1. Горњи подаци су подељени у три улаза:
- Мике Јон Јаке
- Паул Паул Јаке
- Мајк Пол Џон
2. Затим се ови подаци преносе у следећу фазу која се зове фаза мапирања.
Дакле, за први ред (Мике Јон Јаке) имамо 3 пара кључа и вредности - Мике, 1; Јон, 1; Јаке, 1.
Испод је резултат у фази мапирања:
- Мајк, 1
Јон, 1
Јаке, 1 - Павле, 1
Павле, 1
Јаке, 1 - Мајк, 1
Павле, 1
Јон, 1
3. Горњи подаци се затим преносе у следећу фазу која се назива фаза сортирања и померања.
У овој фази се подаци групишу у јединствене кључеве и сортирају. Испод је резултат фазе сортирања и померања:
- Јаке, (1, 1)
- Јон, (1, 1)
- Мајк, (1, 1)
- Паул, (1, 1, 1)
4. Горњи подаци се затим преносе у следећу фазу која се назива редукциона фаза.
Овде се сабирају све кључне вредности и броји број 1. Испод је резултат у фази смањења:
- Јаке, 2
- Јон, 2
- Мајк, 2
- Павле, 3
Предности МапРедуце:
Овде смо сазнали неке важне предности програма за програмирање МапРедуце,
1. Скалабилност
Хадооп је платформа која је високо скалабилна и највећим делом због своје способности да складишти и дистрибуира велике скупове података на пуно сервера. Овдје кориштени сервери су прилично јефтини и могу радити паралелно. Процесорска моћ система може се побољшати додавањем више сервера. Традиционални системи за управљање релацијским базама података или РДБМС нису били у могућности да размере огромне скупове података.
2. Флексибилност
Програмски модел Хадооп МапРедуце нуди флексибилност за обраду структурних или неструктурираних података од стране различитих пословних организација које могу да користе те податке и могу да раде на различитим врстама података. На тај начин могу да добију пословну вредност из оних података који су значајни и корисни за пословне организације за анализу. Без обзира на извор података било да се ради о друштвеним медијима, цлицкстреам-у, е-пошти итд., Хадооп нуди подршку за многе језике који се користе за обраду података. Уз све то, Хадооп МапРедуце програмирање омогућава бројне апликације попут маркетиншке анализе, система препорука, складишта података и откривања превара.
3. Сигурност и аутентификација
Ако било која страна особа добије приступ свим подацима организације и може манипулирати с више петабајта података, може нанијети велику штету у смислу пословања у пословању пословне организације. Овај ризик рјешава програмски модел МапРедуце радећи са хдфс и ХБасе који омогућава високу сигурност омогућавајући само одобреном кориснику да ради са похрањеним подацима у систему.
4. Исплативо решење
Такав систем је високо скалабилан и веома је исплативо решење за пословни модел који треба да чува податке који расту експоненцијално у складу са захтевима текућег дана. У случају старих традиционалних система за управљање релацијским базама, није било лако обрађивати податке као са Хадооп системом у смислу скалабилности. У таквим случајевима, предузеће је било приморано да смањи податке и да даље примењује класификацију на основу претпоставки како одређени подаци могу бити вредни за организацију, а самим тим и уклањање необрађених података. Овде долази до помоћи Хадооп скалирање архитектура са МапРедуце програмирањем.
5. Брзо
Хадооп дистрибуирани датотечни систем ХДФС је главна карактеристика која се користи у Хадоопу и која у основи имплементира систем мапирања како би лоцирао податке у кластеру. МапРедуце програмирање је алат који се користи за обраду података и налази се такође на истом серверу који омогућава бржу обраду података. Хадооп МапРедуце обрађује велике количине података које су неструктуриране или полуструктуриране у мање времена.
6. Једноставан модел програмирања
МапРедуце програмирање се заснива на врло једноставном моделу програмирања који програмерима у основи омогућава програмер да развију МапРедуце програм који може да поднесе много више задатака с више лакоће и ефикасности. МапРедуце програмски модел написан је Јава језиком, веома је популаран и лако се учи. Људи могу лако научити Јава програмирање и дизајнирати модел за обраду података који задовољава њихове пословне потребе.
7. Паралелна обрада
Програмски модел дели задатке на начин који омогућава извршење независног задатка паралелно. Стога ова паралелна обрада олакшава процес преузимању сваког задатка што помаже покретању програма у много мање времена.
8. Расположивост и отпорност
Хадооп МапРедуце програмски модел обрађује податке слањем података на појединачни чвор као и просљеђивање истог скупа података другим чворовима који живе у мрежи. Као резултат тога, у случају квара на одређеном чвору, иста копија података је и даље доступна на осталим чворовима и може се користити кад год је потребно осигуравајући доступност података.
На овај начин, Хадооп је толерантан на грешке. Ово је јединствена функционалност која се нуди у Хадооп МапРедуцеу да је у стању да брзо препозна грешку и примјени брзо решење за аутоматско решење за опоравак.
Много је компанија широм света које користе смањење мапа, као што су фацебоок, иахоо итд.
Закључак - Шта је МапРедуце
Мап смањење има велику могућност када је у питању велика обрада података у поређењу с традиционалним РДБМС системима. Многе организације су већ схватиле његов потенцијал и прелазе на ову нову технологију. Јасно је да смањивање мапа мора трајати дуго на великој платформи за обраду података.
Препоручени чланци
Ово је водич за шта је МапРедуце. Овде смо разговарали о основном концепту, примерима и предностима МапРедуце-а. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Шта је ЈаваСцрипт?
- МапРедуце Интервју Питања
- Шта је Питхон
- Како ради МапРедуце
- Шта је Биг дата и Хадооп