Увод у Хадооп архитектуру
Хадооп архитектура је оквир отвореног кода који помаже у лакој обради великих скупова података. Помаже у стварању апликација које обрађују огромне податке с већом брзином. Користи концепте дистрибуираног рачунања где су подаци распоређени по различитим чворовима кластера. Апликације које су изграђене помоћу Хадоопа користе робне рачунаре. Ови рачунари су лако доступни на тржишту по повољним ценама. Овај резултат је постизање веће рачунске снаге уз ниску цену. Сви подаци присутни у Хадоопу налазе се на ХДФС уместо локалном датотечном систему. ХДФС је систем дистрибуције датотека Хадооп. Овај се модел заснива на локалности података гдје се рачунска логика шаље чворовима присутним у кластеру који садржи податке. Та логика није ништа друго него логика која саставља програм.
Хадооп Арцхитецтуре
Основна идеја ове архитектуре је да се целокупно складиштење и обрада врши у два корака и на два начина. Први корак је обрада која се врши програмирањем смањења мапа, а други корак је чување података који се раде на ХДФС-у. Има мастер-славе архитектуру за складиштење и обраду података. Главни чвор за похрану података у Хадоопу је чвор имена. Постоји и главни чвор који врши рад надгледања и паралелне обраде података користећи Хадооп Мап Редуце. Робови су друге машине у групи Хадооп које помажу у чувању података и такође обављају сложене прорачуне. Сваком подређеном чвору додељен је алат за праћење задатака, а чвор података има алат за праћење послова који помаже у покретању процеса и њиховој ефективној синхронизацији. Ова врста система може се поставити било у облаку или на локацији. Чвор Наме је једна тачка грешке када се не ради у режиму велике расположивости. Хадооп архитектура такође има могућност одржавања станд би наме чвора како би се систем заштитио од кварова. Раније су постојали секундарни именски чворови који су дјеловали као сигурносна копија кад је примарни чвор имена био доље.
ФСимаге и Уреди дневник
ФСимаге и Уређивање дневника осигуравају постојаност метаподатака датотечног система да буду у току са свим подацима и чворима имена похрањују метаподате у двије датотеке. Ове датотеке су ФСимаге и дневник за уређивање. Задатак ФСимаге-а је да задржи потпуни снимак датотечног система у датом тренутку. Промјене које се стално уносе у систем требају бити евидентиране. Ове инкременталне промене попут преименовања или додавања детаља у датотеку чувају се у дневнику уређивања. Оквир пружа бољу опцију, а не креирање новог ФСимаге-а сваки пут, бољу опцију да сачувате податке док нова датотека за ФСимаге. ФСимаге креира нови снимак сваки пут када се изврше промене Ако чвор Наме не успе, може вратити своје претходно стање. Чвор секундарног имена такође може ажурирати своју копију кад год се промене ФСимаге и уређују записници. Дакле, осигурава да иако је име чвора доле, у присуству секундарног чвора имена неће доћи до губитка података. Чвор имена не захтијева да те слике морају бити поново учитане на секундарном чвору имена.
Репликација података
ХДФС је дизајниран за брзу обраду података и пружање поузданих података. Чува податке у машинама и у великим кластерима. Све датотеке се чувају у низу блокова. Ови блокови се понављају због толеранције грешке. О величини блока и фактору репликације корисник може одлучити и конфигурирати га према корисничким захтјевима. Фактор репликације је према заданим поставкама 3. Фактор репликације се може специфицирати у тренутку креирања датотеке и може се касније промијенити. Све одлуке везане за те реплике доносе именски чвор. Чвор имена наставља слати откуцаје срца и блок извјештаје у правилним интервалима за све чворове података у кластеру. Примање откуцаја срца подразумијева да чвор података исправно ради. Извештај о блоку одређује листу свих блокова присутних на чвору података.
Постављање реплика
Постављање реплика је веома важан задатак у Хадоопу због поузданости и перформанси. Сви различити блокови података постављени су на различите полице. Имплементација постављања реплика може се извршити према поузданости, доступности и искоришћености пропусне мреже. Кластер рачунара може да се рашири на различите полице. Не више од два чвора могу се поставити на исти сталак. Трећу копију треба поставити на други сталак да би се осигурала већа поузданост података. Два чвора на сталак комуницирају путем различитих прекидача. Чвор имена има ИД сталка за сваки чвор података. Али постављање свих чворова на различите сталке спречава губитак било каквих података и омогућава употребу опсега са више регала. Такође смањује саобраћај међу рекама и побољшава перформансе. Такође је вероватноћа да се поквари сталак врло мала у поређењу са шансом квара на чвору. Смањује опсежну ширину мреже када се подаци очитавају из два јединствена сталка, а не из три.
Карта смањити
Мап Редуцт користи се за обраду података који се чувају на ХДФС. Пише дистрибуиране податке кроз дистрибуиране апликације што осигурава ефикасну обраду велике количине података. Обрађују се на великим кластерима и захтевају робу која је поуздана и неисправна. Језгра смањења мапе могу бити три операције попут мапирања, прикупљања парова и померања резултирајућих података.
Закључак - Хадооп архитектура
Хадооп је оквир отвореног кода који помаже у систему отпорности на грешке. Може да похрањује велике количине података и помаже у чувању поузданих података. Два дела складиштења података у ХДФС и њихово обрађивање путем мапе смањују помоћ у правилном и ефикасном раду. Има архитектуру која помаже у управљању свим блоковима података и такође има најновију копију чувањем у ФСимаге и уређивањем дневника. Фактор репликације такође помаже при копирању података и враћању података кад год дође до грешке. ХДФС такође премешта уклоњене датотеке у мапу смећа ради оптималног коришћења простора.
Препоручени чланци
Ово је водич за Хадооп архитектуру. Овде смо разговарали о архитектури, редукцији мапа, постављању реплика, репликацији података. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Постаните Хадооп програмер
- Увод у Андроид
- Шта је Таблеау? | Преглед
- Шта је МапРедуце у Хадоопу?