Шта је МапРедуце у Хадоопу
МапРедуце је Хадооп-ов оквир који се поуздано обрађује паралелно огромне количине података о великим кластерима робног хардвера. Хадооп је пројекат отвореног кода који обезбеђује софтверска фондација Апацхе. Хадооп се користио за брзу и поуздану анализу како за структуриране тако и за неструктуриране податке. Хадооп може обрадити веома велике скупове података који могу бити и структурирани и неструктурирани подаци, што је заправо повезано са великим подацима. Хадооп оквир који омогућава апликацији да смешта податке у дистрибуираном облику и обрађује велике скупове података на групама рачунара користећи једноставан модел програмирања, то је оно што Мап Редуце, тј. Другим речима можемо назвати Мап Редуце као програмски модел који се користи за обраду огромна количина података дистрибуираних по броју кластера. Хадооп може да се повећа са једног сервера на хиљаде рачунарских чворова или машина које сваки користи за рачунање и складиштење.
Пројекат Апацхе Хадооп садржи бројне подпројекте као што су:
- Хадооп Цоммон: Хадооп Цоммон има услужне програме који подржавају остале Хадооп подпројекте.
- Хадооп дистрибуирани датотечни систем (ХДФС): Дистрибуирани датотечни систем Хадооп омогућава приступ дистрибуираној датотеци подацима апликација.
- Хадооп МапРедуце: Хадооп МапРедуце је софтверски оквир за обраду великих дистрибуираних скупова података на рачунарским кластерима.
- Хадооп Пређа: Хадооп Пређ је оквир за управљање ресурсима и заказивање послова.
Како МапРедуце у Хадоопу олакшава рад?
МапРедуце олакшава скалирање обраде података на стотинама или хиљадама кластерских машина. МапРедуце модел заправо ради у два корака који се називају мап и редукција и обрада назива маппер или редуктор. Једном када напишемо МапРедуце за апликацију, апликација за скалирање да би се прешло преко више или чак више хиљада кластера само је промена конфигурације. Ова карактеристика модела МапРедуце привукла је многе програмере да је користе.
Како МапРедуце у Хадоопу ради?
МапРедуце програм се углавном изводи у четири корака:
- Улазни дели се
- Мапа
- мешање
- Смањите
Сада ћемо видјети сваки корак како они функционишу.
1. Корак карте
Овај корак је комбинација корака улазног одвајања и корака Мапе. У кораку с мапом изворна датотека се просљеђује као ред по ред. Пре него што улаз уђе у посао функције Мап, улаз се подели на малу фиксну величину која се назива Инпут сплитт. Подјела уноса је комад улаза који би могао потрошити једна мапа. У кораку с мапом, сваки подијељени податак просљеђује се мапирајућој функцији, а функција мапирања обрађује податке, а затим и излазне вриједности. Генерално, улазни подаци о мапи или мапирању су у облику датотеке или директорија који су похрањени у датотечном систему Хадооп (ХДФС).
2. Смањите корак
Овај корак је комбинација корака насумичне репродукције и редукције. Функција редукције или посао редуктора преузима податке који су резултат функције мапирања. Након обраде редукцијом функције настаје нови сет резултата који се поново враћа у ХДФС.
У Хадооп оквиру није сигурно да ли сваки кластер обавља који посао или мапирање или смањење или мапирање и смањење. Дакле, захтев задатака Мап анд Редуце треба да се пошаље одговарајућим серверима у кластеру. Сам Хадооп оквир управља свим задацима издавања, верификације завршетка посла, дохваћања података из ХДФС-а, копирања података у кластер чворова и тако даље. У Хадоопу се рачунарство углавном одвија на чворовима заједно са подацима у самим чворовима што смањује мрежни промет.
Дакле, МапРедуце оквир је врло користан у Хадооп оквиру.
Предности МапРедуце-а
- Скалабилност - МапРедуце чинећи Хадооп веома скалабилним јер омогућава складиштење великих скупова података у облику дистрибуције на више сервера. Како је распоређен на више њих може се радити и паралелно.
- Економично решење - МапРедуце пружа веома економично решење за предузећа која морају да складиште растуће податке и обрађују податке на веома исплатив начин, што је данашња потреба пословања.
- Флексибилност - МапРедуце чини Хадооп врло флексибилним за различите изворе података, па чак и за различите врсте података, као што су структурирани или неструктурирани подаци. На тај начин чини врло флексибилан приступ структурираним или неструктурираним подацима и њихово обрађивање.
- Брзо - као Хадооп подаци за складиштење у систему дистрибуције датотека, помоћу којих се складиштење података на локални диск кластера и МапРедуце програми обично налазе на истим серверима, што омогућава бржу обраду података без потребе за приступом податке са других сервера.
- Паралелна обрада - Како су подаци за похрану података Хадооп у дистрибуираном систему датотека и раду програма МапРедуце такви да дијеле мапу задатака и редуцирају и могу се извршавати паралелно. И опет, због паралелног извођења, смањује се цело време покретања.
Вештине
Потребне вештине за МапРедуце у Хадоопу имају добро познавање програма Јава (обавезно), оперативни систем Линук и знање СКЛ упита.
Обим МапРедуце-а у Хадоопу
МапРедуце у Хадоопу је брзо растуће поље будући да се поље великих података повећава, па је опсег МапРедуце-а у Хадоопу у будућности врло обећавајући јер се количина структурираних и неструктурираних података експоненцијално повећава из дана у дан. Платформе друштвених медија генеришу пуно неструктурираних података који се могу искористити за добивање стварних увида у различите домене.
Закључак
- МапРедуце је Хадооп-ов оквир који се поуздано обрађује паралелно огромне количине података о великим кластерима робног хардвера.
- Пројект Апацхе Хадооп садржи бројне подпројекте као што су Хадооп Цоммон, Хадооп Дистрибуирани датотечни систем (ХДФС), Хадооп МапРедуце, Хадооп ИАРН.
- У кораку с мапом сваки подијељени податак се просљеђује функцији мапирања, а функција мапирања обрађује податке, а затим и излазне вриједности.
- Функција редукције или посао редуктора преузима податке који су резултат функције мапирања.
- Предности МапРедуце наведене су као скалабилност, економично решење, флексибилност, брза, паралелна обрада.
Препоручени чланци
Ово је водич за оно што је МапРедуце у Хадоопу. Овде смо разговарали о компонентама, раду, вештинама, расту каријере и предностима МапРедуце-а у Хадоопу. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више
- Шта је алгоритам?
- Разлике измедју Хадооп и МапРедуце
- Шта је Азуре?
- Шта је технологија великих података?
- Како ради МапРедуце