Увод у Хадооп ИАРН архитектуру
МапРедуце је коришћен за обављање и управљања ресурсима и обраде у старијој Хадооп верзији 1.0. Овде је Јоб Трацкер извршио расподелу ресурса, заказивање и надгледање послова додељивањем мапе и смањивањем задатака у Трацкер Таск. То је резултирало проблемима попут скалабилности, неефикасне употребе ресурса. Како је оквир Хадооп током година претрпео неколико промена; можемо видети да се може користити за обављање много више од само покретање послова МапРедуце. ИАРН означава још један преговарач о ресурсима који се назива системом управљања кластерима Хадоопа, који је представљен са Хадоопом 2.0 за подршку дистрибуираног рачунања, што такође побољшава имплементацију МапРедуцеа. У ИАРН-у, менаџер ресурса и планер су ван оквира. Дакле, у ИАРН-у, иако имамо чворове података, више нема Трагача задатака или Трагача послова. Такође са ИАРН-ом, можемо имати управљање ресурсима, као и генеричко заказивање. У овој теми сазнаћемо о различитој архитектури пређе
Објасните Хадооп ИАРН архитектуру са дијаграмом
(Архитектура Хадоопа пређа)
ИАРН представља концепт менаџера ресурса и мастер апликација у Хадооп 2.0. Менаџер ресурса види употребу ресурса на читавом кластеру Хадооп, док животни циклус апликација које се покрећу на одређеном кластеру надгледа мастер апликација. У основи, можемо рећи да за ресурсе кластера, Апплицатион Мастер преговара са Ресоурце Манагер-ом. Овај задатак обављају контејнери који садрже одређена ограничења меморије. Затим се ови контејнери користе за покретање процеса специфичних за апликацију, а такодје ови контејнери надгледају чворове који раде на чворовима у кластеру. Ово ће потврдити да апликација не користи више од додељених ресурса.
Разне компоненте пређе
Испод су различите компоненте пређе.
1) Управитељ ресурса
ИАРН дјелује путем Ресоурце Манагера који је један по чвору и Ноде Манагер који ради на свим чворовима. Ресоурце Манагер управља ресурсима који се користе преко кластера и Ноде Манагер руча и надгледа контејнере. Планер и Менаџер апликација су две компоненте Управитеља ресурса.
- Распоред : Распоред се врши на основу потреба ресурса од стране апликација. ИАРН нуди неколико планера за избор, а они су правични и програм за планирање капацитета. У случају било каквог квара хардвера или апликације, Планер не осигурава поновно покретање неуспелих задатака. Такође, Сцхедулер додељује ресурсе текућим апликацијама на основу капацитета и реда чекања.
- Апплицатион Манагер : Управља покретањем Апплицатион Мастер-а у кластеру, а након неуспеха Апплицатион Мастер Цонтаинер-а, помаже у његовом поновном покретању. Такође, она сноси одговорност за прихватање предаје послова.
2) Управитељ чворова
Ноде Манагер одговоран је за извршавање задатка у сваком чвору података. Менаџер чворова у ИАРН-у по дефаулту шаље откуцаје срца менаџеру ресурса који носи информације о покренутим контејнерима и доступности ресурса за нове контејнере. Он је одговоран за посматрање чворова на кластеру појединачно и управља радним током и пословима корисника на одређеном чвору. Углавном управља контејнерима апликација које додељује Ресоурце Манагер. Ноде Манагер покреће контејнере креирањем процеса контејнера који се захтевају и убија контејнере на начин који тражи Ресоурце Манагер.
3) Контејнери
Контејнери су скуп ресурса попут РАМ-а, ЦПУ-а и меморије итд. На једном чвору, а заказао их је Ресоурце Манагер и надзирао Ноде Манагер. Животни циклус спремника управља ИАРН контејнерима користећи контекст покретања контејнера и пружа приступ апликацији за специфично кориштење ресурса у одређеном хосту.
4) Мастер апликације
Надгледа извршење задатака и управља животним циклусом апликација које се покрећу на кластеру. Појединац Мастер апликације повезује се с послом кад је пријављен у оквир. Његова главна одговорност је да преговара о ресурсима са Ресоурце Манагер-ом. Ради са Управитељем чворова за надгледање и извршавање задатака.
Да бисте покренули апликацију преко ИАРН, следећи кораци се изводе.
- Клијент контактира управитеља ресурса који захтијева покретање поступка пријаве тј. Подноси апликацију ИАРН.
- Следећи корак је да Ресоурце Манагер тражи Ноде Манагер који ће, заузврат, покренути Апплицатион Мастер у контејнеру.
- Водитељ апликације може или покренути извршење у спремнику у којем се тренутно налази и клијенту пружити резултат или може затражити више контејнера од управитеља ресурса који се могу назвати дистрибуираним рачунањем.
- Клијент тада контактира Управитеља ресурса ради праћења статуса апликације.
Помоћу МапРедуце у Хадооп верзији 1.0 (МРВ1) дефинисан је број карата и смањујући слотови по чвору. Такође у кластеру Хадооп, јер су могућности хардвера варирале и број задатака на одређеном чвору морао је ручно ограничити. Али с ИАРН-ом, овај недостатак је превазиђен јер овде Ресоурце Манагер зна за капацитет сваког чвора док комуницира с управитељем чворова који се покреће на сваком чвору.
Закључак - Хадооп пређа архитектура
ИАРН помаже у превазилажењу проблема с скалабилношћу МапРедуце-а у Хадоопу 1.0 јер дели рад Јоб Трацкер-а, како на распореду послова, тако и на праћењу напретка задатака. Такође, проблем расположивости је такође превазиђен као и раније у Хадоопу 1.0, неуспех Јоб Трацкер довео је до поновног покретања задатака. ИАРН је стигао са многим додатним бонусима као што је боља употреба ресурса јер не постоји фиксни слот за задатке јер омогућава централно управљање ресурсима. Дакле, са ИАРН-ом су превазиђена многа питања у ранијој верзији Хадоопа јер помаже у одвајању обраде података од заказивања и управљања ресурсима. Помоћу ИАРН-а могуће је самостално покретати интерактивне упите, као и пружити бољу анализу у стварном времену.
Препоручени чланци
Ово је водич за Хадооп ИАРН архитектуру. Овде смо расправљали о различитим компонентама ИАРН које укључују Ресоурце Манагер, Ноде Манагер и Цонтаинерс заједно са Архитектуром. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Екосистем Апацхе Хадооп
- Компоненте екосистема Хадооп
- Хадооп Цомпонентс
- Хадооп екосистем