Увод у искрена питања и одговоре за интервју
Апацхе Спарк је оквир отвореног кода. Спарк, будући да је платформа отвореног кода, можемо да користимо више програмских језика као што су јава, питхон, Сцала, Р. У поређењу са перформансама процеса Мап-Редуце, искра помаже у побољшању перформанси извршења. Омогућава и 100 пута брже извршавање меморије у односу на Мап-Редуце. Због снаге прераде искре данас индустрија више воли искру.
Дакле, коначно сте пронашли посао из снова у Спарку, али се питате како пробити Спарк Интервју и шта би могло бити вероватно Спарк Интервју Питања за 2018. Сваки интервју је различит и опсег посла је такође другачији. Имајући то у виду, осмислили смо најчешћа питања и одговоре са искреним интервјуима за 2018. годину како бисмо вам помогли да постигнете успех у свом интервјуу.
Ова питања су подељена у два дела
Део 1 - Спарк Интервју Питања (основно)
Овај први део покрива основна питања и одговоре у Спарк-у
1. Шта је варница?
Одговор:
Апацхе Спарк је оквир отвореног кода. Побољшава перформансе извршења од процеса смањивања мапа. Отворена је платформа на којој можемо користити више програмских језика као што су Јава, Питхон, Сцала, Р. Спарк омогућава извршење у меморији која је 100 пута бржа од смањивања мапа. Користи концепт РДД. РДД је еластични распоређени скуп података који му омогућава да транспарентно смешта податке у меморију и устраје на диску само ако је то потребно. Овде ће се смањити време приступа подацима из меморије уместо диска. Данас индустрија више воли Спарк због своје моћ прераде.
2. Разлика између Хадооп-а и Спарк-а?
Одговор:
| Критерији карактеристика | Апацхе Спарк | Хадооп |
| Брзина | 10 до 100 пута бржи од Хадоопа | Нормална брзина |
| Обрада | Пакетна обрада у реалном времену и меморија, меморија, кеширање | Само пакетна обрада, овисна о диску |
| Потешкоћа | Лако због модула високог нивоа | Тешко за учење |
| Опоравак | Омогућује опоравак партиција помоћу РДД-а | Отпоран на грешке |
| Интерактивност | Има интерактивне, интерактивне режиме | Нема интерактивног режима осим Пиг & Хиве, Нема итеративног начина |
Нормална Хадооп архитектура следи основну редукцију мапа, јер исти процес искра омогућава извршење у меморији. Уместо читања и писања са тврдог диска за Мап-Редуце, варница обезбеди читање и писање из виртуелне меморије.
Идемо на следеће Спарк Интервју Питања
3. Које су карактеристике искре?
Одговор:
- Омогућите интеграцију са Хадооп-ом и датотекама на ХДФС-у. Искре се може покренути на врху Хадоопа користећи ИАРН кластерирање ресурса. Спарк има капацитет да замени Хадооп-ов мотор за смањивање карата.
- Полиглот: Спарк Обезбедите АПИ високе разине за Јава, Питхон, Сцала и Р. Спарк Цоде може се писати на било којем од ова четири језика. ИТ обезбеђује независну љуску за скалирање (језик на којем је исписана Спарк) и тумач за питон. Који ће вам помоћи у интеракцији са варницом? Линији Сцала може се приступити кроз ./бин/спарк-схелл и Питхон схелл кроз ./бин/писпарк из инсталираног директорија.
- Брзина: Спарк мотор је 100 пута бржи од Хадооп Мап-Редуце за велику обраду података. Брзина ће се постићи партиционирањем за паралелизацију дистрибуиране обраде података уз минимални мрежни промет. Спарк Провидвиде РДД (Ресилиент Дистрибутед скупови података), који се могу кеширати преко рачунарских чворова у кластеру
- Вишеструки формати: Спарк има АПИ извора података. Омогућиће механизам за приступ структурираним подацима путем искре СКЛ-а. Извори података могу бити било шта, Спарк ће само створити механизам за претварање података и повлачење искра. Спарк подржава више извора података као што су Хиве, ХБасе, Цассандра, ЈСОН, Паркет, ОРЦ.
- Спарк нуди неке уграђене библиотеке за обављање више задатака из истог језгра, као што су батцх обрада, парење, машинско учење, интерактивни СКЛ упити. Међутим, Хадооп подржава само серијску обраду. Спарк Обезбедите МЛИб (библиотеке за машинско учење) што ће бити од помоћи за Биг-Дата Девелопер за обраду података. Ово помаже да се уклоне зависности од више алата за различите сврхе. Спарк пружа заједничку и моћну платформу инжењерима података и брзиним перформансама и једноставним за коришћење.
- Апацхе Спарк одлаже извршење процеса док акција није неопходна. Ово је једна од кључних карактеристика искре. Спарк ће додати сваку трансформацију у ДАГ (Дирецт Ацицлиц Грапх) за извршење, а када се акција жели извршити, заправо ће покренути ДАГ за обраду.
- Стреаминг у реалном времену : Апацхе Спарк Омогућава рачунање у реалном времену и малу заосталост, због извршења у меморији. Спарк је дизајниран за велике скалабилности попут хиљаду чворова кластера и неколико модела за рачунање.
4. Шта је пређа?
Одговор:
Ово је основно Спарк Интервју Питања која су постављена у интервјуу. ИАРН (још један преговарач о ресурсима) је менаџер ресурса. Спарк је платформа која омогућава брзо извршење. Спарк ће користити ИАРН за извршавање задатка кластеру, а не свом уграђеном менаџеру. Постоје неке конфигурације за покретање пређе. Укључују главни, режим рада, меморију возача, меморију извршитеља, језгре извршитеља и ред чекања. Ово су најчешћа питања за интервју са искром која су постављена у интервјуу испод: предности искре:
Предности искре за смањивање мапе
Спарк има предности у односу на Смањивање мапа како следи: -
Због могућности процеса меморије, Спарк је могао да изврши 10 до 100 пута брже од смањивања мапа. Тамо где се смањивање мапа може користити за постојање података у фази мапирања и смањивања.
Апацхе Спарк пружа висок ниво уграђених библиотека за обраду више задатака у исто време као и батцх обрада, Стреаминг у реалном времену, Спарк-СКЛ, Струцтуред Стреаминг, МЛиб итд. Истовремено Хадооп пружа само батцх обраду.
Процес Хадооп Мап-Редуце ће зависити од диска, где Спарк обезбеђује Цацхинг и Ин-Мемори.
Спарк има и итеративно, изводи рачунање вишеструко на истом скупу података и интерактивно, врши рачунање између различитих скупова података у којима Хадооп не подржава итеративно рачунање.
5. Који језик подржава Спарк?
Одговор:
Искрена подршка скала, Питхон, Р и Јава. На тржишту, велики програмер података преферира скала и питхон. Да би скала могла да састави код, потребан нам је Патх оф сцале / бин директоријум или да направимо јар датотеку.
6. Шта је РДД?
Одговор:
РДД је апстракција Ресилиент Дистрибутед скупа података, која пружа колекцију елемената који су раздељени на свим чворовима кластера који ће помоћи да се извршавају више процеса паралелно. Помоћу РДД програмера може да похрани податке у меморију или кеширање да би се ефикасно користило за паралелно извршавање операција. РДД се може лако опоравити од квара на чвору.
Део 2 - Спарк Интервју Питања (напредно)
Погледајмо сада напредна Спарк Интервју Питања.
7. Који су фактори одговорни за извршење искре?
Одговор:
1. Спарк омогућава извршење у меморији уместо диска као што је Хадооп Мап-Редуце.
2.РДД Ресилиент Дистрибутед Датасет, који је одговорно паралелно извршавање више операција на свим чворовима кластера.
3. Спарк пружа заједничку променљиву функцију за паралелно извршавање. Ове променљиве помажу у смањењу преноса података између чворова и дељењу копије свих чворова. Постоје две променљиве.
4.Броадцаст варијабла: Ова варијабла се може користити за кеширање вредности у меморији на свим чворовима
5. Променљива акумулатора: Ова променљива је само „додата“, као што су бројачи и суме.
8. Шта је меморија извршитеља?
Одговор:
Ово су често постављана искрећа питања у интервјуу. Величина гомиле додељена је извршитељу искри. Овим својством се може контролисати спарк.екецутор.мемори својство заставе –екецутор-мемори. Свака Спарк апликација има по једног извршиоца за сваки радни чвор. Ово својство се односи на то колико ће меморије радних чворова бити додељено апликацији.
9. Како користите Спарк Стреам? Објасните један случај употребе?
Одговор:
Спарк Стреам је једна од карактеристика која је корисна у случају стварне употребе. У ову сврху можемо користити флуме, Кафка са варницом. Флуме ће покренути податке из извора. Кафка ће задржати податке у теми. Кафка Спарк ће извући податке користећи ток и Д-стреам ће податке и извршити трансформацију.
Овај процес можемо користити за сумњиве трансакције у стварном времену, понуде у стварном времену итд.
Идемо на следеће Спарк Интервју Питања
10. Да ли можемо користити Спарк за ЕТЛ процес?
Одговор:
Да, можемо користити искром платформу за ЕТЛ процес.
11. Шта је Спарк СКЛ?
Одговор:
То је једна посебна компонента искре која ће подржати СКЛ упите.
12. Шта лажна процена?
Одговор:
Када радимо са варницом, Трансформације се не оцењују док не извршите акцију. Ово помаже у оптимизацији укупног тока обраде података. При дефинисању трансформације додаће се ДАГ (Дирецт Ацицлиц Грапх). А у време акције почеће да извршава степенасте трансформације. Ово је корисно Спарк Интервју Питање постављено у интервјуу.
Препоручени чланак
Ово је водич за списак питања и одговора за интервју са искром како би кандидат могао лако да разбије ова питања за интервју са искром. Такође можете погледати следеће чланке да бисте сазнали више -
- Јава вс Ноде ЈС поједностављује разлике
- Питања о интервјуу за базу података Монго | Корисно и највише питани
- 15 најуспјешнијих Р интервју питања и одговора
- Перл питања и одговори за интервју
- Питања о интервјуу за систем САС - Топ 10 корисних питања