Разлика између Хадоопа и МапРедуце
Коријени Хадоопа потичу из 2002. године када је Доугх Цуттинг радио на пројекту отвореног кода названом Нутцх (који се користио за индексирање веб страница и кориштење индексираних веб страница за претраживање, исто што и Гоогле ради). Суочио се са проблемима скалабилности и у погледу складиштења и рачунара. Године 2003 гоогле је објавио ГФС (гоогле датотечни систем), а 2004. Нутцх је створио НДФС (Нутцх дистрибуирани систем датотека). Након што је Гоогле најавио МапРедуце као рачунски мозак који стоји иза алгоритама за сортирање, Доугх је успио покренути Нутцх на НДФС-у и употријебио је МапРедуце 2005. и 2006. године, а Хадооп се родио.
Хадооп и МапРедуце! Хадооп је еко-систем пројеката отвореног кода као што су Хадооп Цоммон, систем дистрибуције датотека Хадооп (ХДФС), Хадооп ИАРН, Хадооп МапРедуце. Хадооп је такав оквир отвореног кода за чување и обраду огромних скупова података. Складиштење носи ХДФС, а за обраду се брине МапРедуце. МапРедуце је, с друге стране, програмски модел који вам омогућава да обрадите огромне податке похрањене на Хадооп.лет да бисте разумели Хадооп и МапРедуце у појединостима у овом посту.
Упоређивање између Хадооп Вс МапРедуце (Инфограпхицс)
Испод је топ 5 поређења између Хадооп и МапРедуце
Кључне разлике између Хадооп и МапРедуце
Следи разлика између Хадоопа и МапРедуцеа
- Ако желимо да разликујемо Хадооп и МапРедуце у лаичким речима, можемо рећи да је Хадооп попут аутомобила у коме имате све што је потребно за прелазак удаљености, али МапРедуце је мотор аутомобила, па без аутомобила мотор не може ' не постоји, али се спољни део аутомобила може мењати (остали ДФС (дистрибуирани систем датотека)).
- Основна идеја која стоји иза Хадоопа је да подаци морају бити поуздани и скалабилни, поуздани јер у случају катастрофе или квара на мрежи подаци морају бити стално доступни и то је постигнуто Хадооповим оквиром користећи Ноде и чворови података.
- Неколико основних идеја о чворовима података и именских чворова
- Основна идеја која стоји иза архитектуре Дата чвора и Ноде чвора је мастер / славе архитектура у којој једна похрањује локацију података (Наме Ноде), а друга похрањује саме податке (Дата Ноде). Подаци су подељени у комаде од 64мб и спремају се у блокове података, а њихов регистар се одржава на Наме чвору. Подаци се подразумевано реплицирају три пута ради поузданости. Када говоримо о скалабилности, хардвер се може повећати у покрету, а то помаже да се повећа складиштење и учини систем скалабилним.
- Сада долазе у МапРедуце три фазе
- Фаза мапе
- Фаза мешања
- Смањите фазу
Узмимо пример да бисмо га боље разумели. МапРедуце као програмски оквир такође има хелло светски програм, али познат је као програм за бројање речи у МапРедуце.
Програм Бројање речи даје нам парове кључ-вредност речи и њихову учесталост у одломку / чланку или било којем извору података. Да бисмо га лако разумели, узмимо за пример следеће податке.
Као што видимо, имамо три речи аутобус, аутомобил и воз. Ступац који се зове Улаз има податке као што имамо у скупу података, колона Излаз има податке у интермедијарној фази у којој ће се одвијати померање.
Овде узимамо раздјелник као зарез (, ) да бисмо подијелили ријечи. Раздјелник може бити зарез или размак или нова линија итд.
| Улазни | Скуп података | цаР, ЦАР, аутомобил, аутобус, воз, аутобус, воз, аутобус, воз, аутобус, аутобус, аутомобил, аутобус, аутомобил, воз, аутомобил, аутобус, аутомобил |
| Излаз | Претвори у други скуп података
(Кључ, вредност) | (Аутобус, 1), (Аутомобил, 1), (аутобус, 1), (аутомобил, 1), (воз, 1),
(аутомобил, 1), (аутобус, 1), (аутомобил, 1), (воз, 1), (аутобус, 1), (ВЛАК, 1), (БУС, 1), (буС, 1), (цаР, 1), (ЦАР, 1), (аутомобил, 1), (БУС, 1), (ВЛАК, 1) |
А излаз горње средње фазе даје се редуктору, а испод је крајњи излаз програма.
| Улазни
(излаз функције Мап) | Сет Туплес | (Аутобус, 1), (Аутомобил, 1), (аутобус, 1), (аутомобил, 1), (воз, 1),
(аутомобил, 1), (аутобус, 1), (аутомобил, 1), (воз, 1), (аутобус, 1), (ВЛАК, 1), (БУС, 1), (буС, 1), (цаР, 1), (ЦАР, 1), (аутомобил, 1), (БУС, 1), (ВЛАК, 1) |
| Излаз | Претвара се у мањи скуп тупола | (БУС, 7),
(ЦАР, 7), (ВЛАК, 4) |
- Једна од кључних разлика Хадооп-а у односу на друге велике оквире за обраду података је та што Хадооп шаље код (МапРедуце код) кластерима где се подаци чувају, а не да податке шаље у код, јер ће скупови података бити у ТБ-у или понекад у ПБ-има биће мучан задатак.
Хадооп вс МапРедуце Табела упоређивања
| Основе за упоређивање | Хадооп | Карта смањити |
|
Значење | Име Хадооп било је име играчког слона сина Доуга Цуттинга. Овај пројекат је назвао "Хадооп", јер га је било лако изговорити. | Име „МапРедуце“ настало је према самој функционалности мапирања и смањења парова кључ-вредност. |
|
Концепт | Апацхе Хадооп је еко систем који пружа окружење поуздано, скалабилно и спремно за дистрибуирано рачунање. | МапРедуце је подмодул овог пројекта који је програмски модел и користи се за обраду огромних скупова података који сједе на ХДФС (Хадооп дистрибуирани систем датотека). |
|
Предуслови | Хадооп ради на имплементираним ХДФС (Хадооп Дистрибутед Филе Систем) | МапРедуце може да ради на ХДФС / ГФС / НДФС или било ком другом дистрибуираном датотечном систему, на пример МапР-ФС |
|
Језик | Хадооп је колекција свих модула и стога може укључивати и друге језике за програмирање / скриптирање | МапРедуце је у основи написан на програмском језику Јава |
|
Оквир | Хадооп не само да има складишни оквир који чува податке, већ ствара чвор имена и чвора података, а има и друге оквире који укључују и сам МапРедуце. | МапРедуце је програмски оквир који користи кључ, мапирање вредности за сортирање / обраду података |
Доња слика ће вам помоћи у разликовању МапРедуце-а од Хадоопа.
МапРедуце Фрамеворк
- Као што видимо на горњој слици, МапРедуце је расподељени процесни оквир док је Хадооп збирка свих оквира.
Закључак - Хадооп вс МапРедуце
Будући да је Хадооп отвореног кода стекао је популарност, јер је био бесплатан за употребу и програмери могу да мењају код према својим потребама. Еадосистем Хадооп је развијан континуирано током претходних година како би Еко систем постао што је могуће више грешака.
Са непрекидним потребама света, технологија се брзо мења и постаје тешко пратити промене. Подаци који се генерирају у току мјесеца удвостручују се / утростручавају док читате овај чланак, а потреба за бржом обрадом скупова података довела је до многих других програмских оквира као што су МапРедуце 2, Спарк итд.
Препоручени чланци
Ово је водич за Хадооп вс МапРедуце, њихово значење, упоредба између главе, кључне разлике, табела упоређивања и закључак. Такође можете погледати следеће чланке да бисте сазнали више -
- Разлика између Хадоопа и Редсхифта
- Откријте 6 најбољих разлика између Апацхе Хадооп и Апацхе Сторм
- Поређења између Хадооп Вс СКЛ-а
- Знајте о МапРедуце вс Спарк
- Хадооп вс Спарк: Функције
- Ларавел вс Цодеигнитер: Функције