Увод у Апацхе Спарк архитектуру
Овај чланак дефинише концепте Апацхе Спарк Арцхитецтуре и њених компоненти. Сматра се да је вршна обрада података на Апацхе Софтваре Фоундатион. Искра се у коначници сматра још једном могућношћу за Хадооп и смањење карте.
Спарк је опен-соурце архитектура са добро дефинисаним компонентама које помажу у анализи огромне количине података и раде за дистрибуирано рачунање. Спарк је написан у Сцали са омогућеним функцијама попут АПИ-ја, Р и обогаћен је скуп библиотека што олакшава обраду података. Апацхе Спарк има своје појединачно рачунање кластера ради брже доступности и извршава се на различитим платформама.
Апацхе Спарк има широк спектар функција као што је убрзавање бржег процеса меморије, прилагођава се више програмских језика, побољшане су технике кеширања и подржавају СКЛ упите, Машинско учење. Ради на платформама као што су Мицрософт Виндовс и Линук оперативни системи. Њихова примена каже да би могла да ради и на једној машини и у кластер режиму.
Апацхе Спарк Арцхитецтуре
Архитектура искре Апацхе има слабо спојене компоненте. Спарк размотри главни / радни процес у архитектури и сви задаци раде на врху дистрибуираног датотечног система Хадооп. Апацхе варница користи Хадооп за обраду података и процесе чувања података. Сматра се да су покретачки механизми за обраду података и њихове апликације раде на Хадооп кластерима брже од меморије. Процесом обраде у меморији спречава се неуспех диска И / О. Спарк омогућава хетерогеном послу да ради са истим подацима. Спарк своје податке дели на партиције, величина подијељених партиција зависи од датог извора података.
Испод су две главне имплементације Апацхе Спарк Арцхитецтуре:
1. Еластични дистрибуирани скупови података (РДД)
Одговорна је за пружање АПИ-ја за контролу кеширања и партиционирања. То је важан скуп алата за рачунање података. Помаже при прерачунавању елемената у случају квара и сматра се непроменљивим подацима и делује као интерфејс. Трансформације и акције су две операције које је урадио РДД.
2. Усмерени ациклички графикон (ДАГ)
Он формира секвенцијалну везу са једног чвора на други. Управљачки програм претвара програм у ДАГ за сваки посао. Апацхе Спарк Ецо-систем има различите компоненте као што су језгро АПИ, Спарк СКЛ, Стреаминг и обрада у стварном времену, МЛИБ и Грапх Кс. Неке терминологије које овде треба да се науче су Спарк схелл који помаже у читању великих количина података, Спарк контекст - отказати, покренути посао, задатак (посао), посао (рачунање)
Компоненте Апацхе Спарк архитектуре
Четири главне компоненте Спарка су дате у наставку и потребно их је разумети за комплетан оквир.
- Спарк Дривер
- Извршитељи
- Менаџер кластера
- Чворови радника
Следећи дијаграм приказује архитектуру и компоненте искра:
Фиг: Самосталан режим Апацхе Спарк Арцхитецтуре
Ток извршења почиње на следећи начин:
1. Спарк Дривер
Одговорност возача је да координира задатке и раднике за управљање. То је Апплицатион ЈВМ процес и сматра се главним чвором. Возач подели искру на задатке и распореде које треба извршити на извршиоцима у кластерима. У дијаграму, програми за покретање позива главну апликацију и стварају искру контекст (дјелује као гатеваи) заједно прате посао који ради у датом кластеру и повезују се на Спарк кластер. Све функционалности и наредбе обављају се у контексту искре.
Контекст искре је унос за сваку сесију. Управљач искре има више компоненти за извршавање задатака у кластерима. Спарк кластери се повезују са различитим типовима менаџера кластера и истовремено контекст набавља радне чворове за извршавање и складиштење података. У кластеру, када извршимо процес, њихов посао је подељен на фазе са фазама појачања у заказане задатке.
2. Извршилац
Одговорна је за извршавање задатка и чува податке у кешу. У самој почетној фази извршитељи се региструју код возача. Овај извршилац има више временских интервала за истовремено покретање апликације. Извршиоци спроводе поступак читања / писања на спољним изворима. Извршитељ води посао када је учитао податке и они су уклоњени у режиму мировања. Извршиоцу је омогућена динамичка алокација и стално се укључују и искључују у зависности од трајања. За време извршавања задатака, извршиоци се прате програмом возача. Извршиоци извршавају задатак корисника у процесу Јава.
3. Менаџер кластера
Помаже у управљању кластерима који имају једног господара и броја робова. Постоје две врсте менаџера кластера као што су ИАРН и самостални, а њима управљају Ресоурце Манагер и Ноде. рад кластера у самосталном начину захтева Спарк Мастер и чвор радника као своје улоге. Одговорност менаџера кластера је да распоређује ресурсе и извршава задатак,
4. Радни чворови
Они су робовласнички чворови; главна одговорност је извршити задатке, а резултат истих вратити се у контекст искре. Они комуницирају са главним чвором о доступности ресурса. Спарк контекст извршава га и издаје радничким чворовима. Сваким радним чворовима додељује се по један варничар за надгледање. Они израчунавају врло једноставно тако што повећавају чворове радника (од 1 до н радника) тако да се сви задаци обављају паралелно дељењем посла на партиције на више система. Задатак другог елемента сматра се јединицом рада и додељује се једном извршиоцу, а за сваку искру партиције ради један задатак.
Закључак
Стога, разумевањем Апацхе Спарк Арцхитецтуре, она означава како лако имплементирати велике податке. Коначно, научили смо њихову доступност и улоге њихових компоненти што је врло корисно за кластер рачунарство и велику технологију података. Искривање израчунајте жељене резултате на лакши начин и пожељно је код групне обраде.
Спарк-ове карактеристике попут скупова података и оквира података помажу у оптимизацији корисничког кода. Важна карактеристика попут СКЛ мотора промовише брзину извршења и овај софтвер чини свестраним. Стога смо видјели да се апликације за искре покрећу локално или се дистрибуирају у кластеру. Сматра се да је Апацхе Спарк одличан додатак у широком спектру индустрија попут великих података. Укратко, искра помаже у решавању високих рачунских задатака.
Препоручени чланци
Ово је водич за Апацхе Спарк Арцхитецтуре. Овде разговарамо о Уводу у Апацхе Спарк архитектуру заједно са компонентама и блок дијаграмом Апацхе Спарк. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Команде искричавих граната
- Екосистем Апацхе Хадооп
- Архитектура великих података
- Шта је Апацхе