Хадооп кластер интервјуи питања и одговори
Сврха овог чланка је помоћи свим аспирантима Биг Дата-а да одговоре на сва питања Хадооп Цлустер Интервјуа у вези са постављањем окружења Биг Дата у организацији. Овај упитник ће вам помоћи у постављању чворова података, имена чвора и дефинисању капацитета послужитеља послужитеља великих података.
Дакле, ако сте коначно нашли посао из снова у Хадооп Цлустер-у, али се питате како пробити интервју са Хадооп Цлустер-ом и шта би могло бити вероватно Хадооп Цлустер Интервју Питања. Сваки интервју је различит и обим посла је такође различит. Имајући то у виду, осмислили смо најчешћа питања и одговоре Хадооп кластера за разговоре који ће вам помоћи да постигнете успех у свом интервјуу.
Нека од најважнијих питања о интервјуу Хадооп кластера која се често постављају у интервјуу су следећа:
1. Које су главне компоненте Хадооп-а у Хадооп групи?
Одговор :
Хадооп је оквир где обрадимо велике податке или је Хадооп платформа на којој се може обрадити огромна количина података на робним серверима. Хадооп је комбинација многих компоненти. Следе главне компоненте у Хадооп окружењу.
Име чвора : Главни чвор брине за све информације о чворима података и локацију за похрану података у формату метаподатака.
Секундарни именски чвор : Ради као примарни чвор Имена ако се примарни чвор назива спусти.
ХДФС (Хадооп Дистрибутед Филе Систем) : Он води рачуна о складиштењу Хадооп кластера.
Чворови података: Чворови података су подређени чворови. Стварни подаци се спремају у Славе чворове на обраду.
ПРИЈАТЕЉ (још један преговарач о ресурсима) : Софтверски оквир за писање апликација и обраду огромне количине података. Омогућава исте функције као МапРедуце, што би омогућило да се сваки скупни задатак паралелно изводи у Хадооп групи.
2.Како планирати складиштење података у кластеру Хадооп?
Одговор :
Складиштење се темељи на формули (Стораге = Дневно уношење података * Репликација).
Ако Хадооп кластер свакодневно добија податке од 120 ТБ и имамо задани фактор репликације, тако да би свакодневни захтјев за похрану података био
Захтев за складиштење = 120 ТБ (дневни унос података) * 3 (подразумевана репликација) => 360 ТБ
Као резултат тога, морамо поставити најмање 360 ТБ кластера података за потребе дневног уноса података.
Складиштење такође зависи од потребе за задржавањем података. У случају да желимо да се подаци чувају две године у истом кластеру, морамо организовати чворове података према захтеву задржавања.
3.Израчунати бројеве чвора података.
Одговор :
Морамо израчунати број чворова података потребних за Хадооп кластер. Претпоставимо да имамо сервере са ЈБОД од 10 дискова и да сваки диск има 4 ТБ величине меморије, тако да сваки сервер има 40 ТБ простора за складиштење. Хадооп кластер добија податке 120 ТБ дневно и 360 ТБ након примене подразумеваног фактора репликације.
Но оф Дата Нодес = Дневни унос података / капацитет чвора података
Број података чворова = 360/40 => 9 података чворова
Дакле, за кластер Хадооп који добија 120 ТБ података са горњом конфигурацијом, потребно је да постави само 9 чворова података.
4.Како променити фактор репликације у Хадооп групи?
Одговор :
Уредите хдфс-сите.кмл датотеку. Подразумевана путања је испод цонф / фолдер у инсталацијском директорију Хадооп. промени / додај следеће својство у хдфс-сите.кмл:
дфс.реплицатион
3
Блокирај репликацију
Није обавезно имати фактор репликације 3. Може се поставити и као 1. Фактор репликације 5 такође делује у Хадооп групи. Постављање задане вриједности чини кластер ефикаснијим и потребан је минимални хардвер.
Повећавајући фактор репликације повећао би захтев за хардвером због тога што се складиштење података множи с фактором репликације.
5. Која је подразумевана величина блока података у Хадоопу и како да је модификујете?
Одговор :
Величина блока смањује / дели податке у блокове и спрема их на различите чворове података.
Подразумевано, величина блока је 128 МБ (у Апацхе Хадооп-у) и можемо да изменимо подразумевану величину блока.
Уредите хдфс-сите.кмл датотеку. Подразумевана путања је испод цонф / фолдер у инсталацијском директорију Хадооп. промени / додај следеће својство у хдфс-сите.кмл:
дфс.блоцк.сизе
134217728
Величина блока
Величина блока у бајтовима је 134, 217, 728 или 128МБ. Такође, одредите величину суфиксом (осетљив на велика слова), попут к (кило-), м (мега-), г (гига-) или т (тера-) да бисте поставили величину блока у КБ, МБ, ТБ итд…
6. Колико дуго Хадооп кластер треба да задржи избрисану ХДФС датотеку у директоријуму брисање / смеће?
Одговор :
"Фс.трасх.интервал" је параметар који специфицира колико дуго ХДФС може да задржи било коју избрисану датотеку у Хадооп окружењу како би преузео избрисану датотеку.
Интервални период може се дефинисати само у неколико минута. За 2 дана интервала претраживања морамо специфицирати имовину у проточном формату.
Уредите датотеку цоре-сите.кмл и додајте је / модификујте помоћу следећег својства
фс.трасх.интервал
2880
Интервал преузимања је 0, али Хадооп Администратор може додати / модификовати горе наведени својство по захтеву.
7.Које су основне наредбе за покретање и заустављање демона Хадооп?
Одговор :
Све наредбе за покретање и заустављање демона сачуваних у сбин / фолдер.
./сбин/стоп-алл.сх - Да зауставите све демоне одједном.
чвор почетног имена хадооп-даемон.сх
Хадооп-даемон.сх старт чвор података
иарн-даемон.сх, покрените менаџер ресурса
иарн-даемон.сх, покрените управитеља чворова
мр-јобхистори-даемон.сх старт сервер сервера
8.Које је својство за дефинисање расподјеле меморије за задатке којима управља ИАРН?
Одговор :
Својство „иарн.нодеманагер.ресоурце.мемори-мб“ треба да се модификује / дода како би се променила доделитев меморије за све задатке којима управља ИАРН.
Одређује количину РАМ-а у МБ. Чворови података узимају 70% стварне РАМ-а да би се користила за ИАРН. Чвор података са 96 ГБ користиће 68 ГБ за ИАРН, остатак РАМ-а користи демон Дата Ноде за "Нон-ИАРН-Ворк"
Уредите датотеку „иарн.кмл филе“ и додајте / модификујте следеће својство.
иарн.нодеманагер.ресоурце.мемори-мб
68608
иарн.нодеманагер.ресоурце.мемори-мб подразумевана вредност је 8, 192МБ (8ГБ). Ако Дата чворови имају велики капацитет РАМ-а, морамо променити у вредност до 70%, трошит ћемо меморију.
9. Које су препоруке за величину називног чвора?
Одговор :
Следећи детаљи се препоручују за постављање главног чвора у почетној фази.
Процесори: За процес је довољан један процесор са 6-8 језгара.
РАМ меморија: За обраду података и послужитељ за обраду треба имати најмање 24-96 ГБ РАМ-а.
Складиштење: Будући да се на главном чвору не чувају подаци ХДФС. Као 1-2 складишни простор можете добити 1-2ТБ
Пошто је тешко одлучити о будућем оптерећењу, дизајнирајте кластер одабиром хардвера попут ЦПУ-а, РАМ-а и меморије који се временом лако надограђује.
10.Који су задани портови у Хадооп групи?
Одговор :
| Даемон Наме | Почетни порт бр |
| Име чвора. | 50070 |
| Чворови података. | 50075 |
| Секундарни назив чвор. | 50090 |
| Чвор за сигурносну копију / контролну точку. | 50105 |
| Јоб Трацкер. | 50030 |
| Тражитељи задатака. | 50060 |
Препоручени чланци
Ово је водич за Листа питања и одговора за Хадооп Цлустер Интервју како би кандидат могао лако да разбије ова питања у вези са Хадооп Цлустер Интервиевом. Такође можете погледати следеће чланке да бисте сазнали више -
- Еластицсеарцх питања за интервју и одговоре на врх и најкориснија
- 9 Невероватна питања са питањима и одговорима о интервјуу са картицом Редукција
- 8 Најкориснијих водича за Биг Дата питања за интервју
- ЕТЛ питања за интервју и одговор који треба да знате