Увод у ХДФС архитектуру
ХДФС означава Хадооп Дистрибутед Филе Систем који сам каже да су датотеке подељене у блокове и смештене на неколико машина.
Карактеристике ХДФС-а
Карактеристике ХДФС-а су:
1. Доступност
Подаци у ХДФС-у редовно се реплицирају међу чворовима података стварањем реплике блокова на другом чвору података. Тако да у случају било каквог квара хардвера или грешке корисник може добити своје податке из другог чвора података у којем су подаци копирани.
2. Скалабилност
У ХДФС-у се подаци похрањују на више чворова података у облику блокова. ХДФС омогућава корисницима да повећају величину блокова кад год је потребно. Постоје две врсте механизма за скалацију који се користе у ХДФС - хоризонтална скалабилност и вертикална скалабилност.
3. Репликација
Ово је јединствена карактеристика ХДФС-а која кориснику омогућава лак приступ њиховим подацима у случају било каквих грешака у хардверу.
ХДФС Арцхитецтуре
ХДФС слиједи мастер-славе архитектуру која има сљедеће компоненте:
1. НамеНоде:
НамеНоде је такође познат као главни чвор јер обрађује све блокове који су присутни у ДатаНодесима.
НамеНоде извршава следеће задатке:
- Управљајте свим блоковима ДатаНоде
- Кориснику пружа приступ датотекама
- Чува све записе блокова присутних на ДатаНоде
- НамеНоде биљежи све информације датотека, на примјер, ако се назив датотеке преименује или је садржај промијењен или избрисан НамеНоде одмах забиљежи ту модификацију у ЕдитЛогс
- Потребна је евиденција свих блокова из чворова података да би се осигурало да су сви блокови живи на ДатаНодеу.
- У случају грешке, ако се догоди неки хардверски неуспех, одмах бира други ДатаНоде како би створио репликацију и управљао комуникацијом са свим ДатаНодес
Врсте датотека у НамеНоде
НамеНоде садржи две врсте датотека ФсИмаге и ЕдитЛогс
ја. ФсИмаге: Назива се и слика датотеке, јер садржи све информације у датотечном систему са именима. Такође садржи све директоријуме и датотеке датотечног система на серијски начин.
ии. ЕдитЛогс: Тренутне модификације извршене у датотекама датотечног система чувају се у ЕдитЛогс.
2. Секундарни НамеНоде
Секундарни НамеНоде назива се и као чвор контролне точке јер врши редовне контролне тачке. Дјелује као помоћник примарног НамеНоде-а.
Секундарни НамеНоде извршава следеће задатке
- Секундарни НамеНоде комбинује ФсИмаге и ЕдитЛогс из НамеНоде.
- Чита све информације датотечног система из меморије за складиштење НамеНоде и уписује их на тврди диск датотечног система.
- У редовним интервалима преузима ФсИмаге и ЕдитЛогс из НамеНоде-а и чита информације о модификацијама које су учиниле датотеке ЕдитЛогс и бележи модификацију у ФсИмаге. Овај процес ствара нову ФсИмаге која се враћа назад у НамеНоде. Кад год се НамеНоде покрене, користиће овај ФсИмаге.
3. ДатаНоде
ДатаНоде је такође познат као подређени чвор јер обрађује сваки чвор који садржи податке на подређеном строју. ДатаНоде чува податке у формату датотеке ект3 или ект4.
Чвор података обавља сљедеће задатке:
- Сви подаци се чувају на ДатаНодес
- Обавља све операције датотека према захтеву корисника, на пример, читање садржаја датотека, уношење нових података у датотеке,
- Такође следи сва упутства која даје НамеНоде, на пример, преименовање датотеке, брисање неких блокова у ДатаНоде, креирање блокова итд.
4. Чвор контролне тачке:
Чвор контролне тачке је чвор који је у правилним интервалима креирао контролну тачку датотека. Чвор контролне тачке у ХДФС-у, преузмите ФсИмаге и ЕдитЛогс с НамеНоде-а и спајајте их да бисте створили нову слику и послали ту нову слику НамеНоде. Најновија контролна тачка чува се у директорију са истом структуром као у директорију наменоде. Због тога је обележена слика увек доступна ако је потребно.
5. Резервни чвор:
Функција резервног чвора слична је чвору Цхецкпоинт за обављање задатка контролне тачке. У Хадоопу, Бацкуп чвор чува најновију и ажурирану копију простора назива датотека. Нема потребе за преузимањем датотека ФсИмаге и едитсЛогс с активног НамеНоде-а како бисте креирали контролну точку у Бацкуп чвору јер је она синкронизирана са стањем активног НамеНоде. Функција чвора Бацкуп је прецизнија јер сачувајте именски простор у локалну ФсИмаге датотеку и ресетујте едитЛогс.
6. Блокови:
Сви подаци корисника се чувају у датотекама ХДФС-а које су затим подељене у мале сегменте. Ови сегменти су смештени у ДатаНодес. Сегменти који су присутни у ДатаНодовима називају се блоком. Задана величина ових блокова је 128 МБ. Величина блока може се променити према захтевима корисника конфигурацијом ХДФС-а.
Ако је величина података мања од величине блока, тада је величина блока једнака величини података. На пример, ако су подаци од 135 МБ, створиће се 2 блока. Једна ће бити подразумеване величине 128 МБ, а друга ће бити само 7 МБ, а не 128 МБ. Због тога се штеди пуно простора и сата сата диска.
Управљање репликацијом у ХДФС архитектури:
ХДФС је толерантан на грешке. Толеранција је снага система у случају кварова и како реагује на грешке и тешке услове. Толеранција на грешке дјелује на основу процеса стварања реплике. Копије корисничких података се чувају на машинама у ДХФС кластеру. Дакле, ако дође до квара или квара у систему, копији тих података може се приступити са других машина ХДФС кластера. Сваки блок у ХДФС архитектури има 3 реплике које се чувају у различитим ДатаНодесима. НамеНоде одржава копије доступне у ДатаНодес. НамеНоде додаје или брише копије на основу критеријума испод реплицираних или пре реплицираних блокова.
Операција писања
За писање датотека на ХДФС клијент ће комуницирати због метаподатака у НамеНоде. Намеоде одговара с неколико блокова, њиховом локацијом, копијама итд. Клијент дијели датотеке у више блокова на основу информација о намеоде. Затим их почиње слати у ДатаНоде. Прво, клијент шаље блок А у ДатаНоде 1 са осталим информацијама о ДатаНодесима. Када ДатаНоде 1 прими клијентов блок А, ДатаНоде 1 копира исти блок у исти сталак у ДатаНоде 2. Будући да су оба ДатаНодеа у истом сталак, пренос блока се врши прекидачем сталак. ДатаНоде 2 сада копира исти блок у ДатаНоде 3 Будући да су оба ДатаНодес-а у различитим сталакима, пренос блока се врши преко прекидача ван залета. Након што ДатаНоде прими блокове клијента, потврду ће послати НамеМоде. Сваки блок датотеке понавља се исти поступак.
Прочитајте рад
За операцију читања, први клијент комуницира метаподатке са НамеНоде. Клијент излази из НамеНоде-а са именом и локацијом датотеке. Намеоде одговара бројем блока, локацијом, копијама и другим информацијама. Након тога, клијент комуницира са ДатаНодес. На основу информација добијених од НамеНоде, клијент започиње паралелно читање података из ДатаНодес-а. Када клијент или апликација прими сав блок датотеке, комбинира те блокове у оригинални облик датотеке.
Закључак - ХДФС Архитектура
Уз помоћ НамеНоде и ДатаНоде поуздано чува врло велике датотеке на свим машинама у великом кластеру. Због толеранције грешака, корисно је приступити подацима током квара софтвера или хардвера. Овако ХДФС архитектура функционише.
Препоручени чланци
Ово је водич за ХДФС архитектуру. Овде смо разговарали о основним концептима са различитим типовима архитектуре, функцијама и управљању репликацијом ХДФС архитектуре. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Шта је моделирање података?
- Шта је визуализација података
- Шта је складиште података?
- Шта је СКЛ Девелопер?