Увод у кошничку архитектуру
Архитектура кошница је изграђена на врху екосистема Хадооп. Осип често има интеракције са Хадооп-ом. Апацхе Хиве се носи са системом база података СКЛ домена и смањењем мапе. Апликације за кошнице могу се писати на различитим језицима као што су Јава, питхон. Архитектура кошница показује како написати језик упита кошнице и како се врше интеракције између програмера помоћу интерфејса командне линије. Језик упита кошнице обавља посао претворбе свих задатака кластера Хадооп путем редукције мапа. Као што смо сви знали Хадооп обрађује велике податке у дистрибуираном окружењу и формира оквир отвореног кода. Помоћу кошнице, флексибилан је за управљање и извршавање упита и добар је подржавач за обављање функција попут енкапсулације, ад-хоц упита. Овај чланак даје кратак увод у архитектуру кошница која се налази на слоју Хадооп ради обављања сажетка у великим подацима.
Архитектура кошница са њеним компонентама
Хиве има велику улогу у анализи података и интеграцији пословне интелигенције и подржава формате датотека попут текстуалне датотеке, рц датотеке. Хиве користи дистрибуирани систем за обраду и извршавање упита, а складиштење се на крају врши на диску и коначно обрађује помоћу оквира за смањење мапа. Рјешава проблем оптимизације који се налази у оквиру смањења мапа и кошнице како би обављали серијске задатке који су јасно објасњени у току рада. Овде мета трговина складишти информације о шеми. Оквир зван Апацхе Тез осмишљен је за перформансе упита у стварном времену.
Главне компоненте кошнице су дате у наставку:
- Клијенти за кошнице
- Услуге кошница
- Складиште кошница (Мета складиште)
Горњи дијаграм приказује архитектуру кошнице и њених саставних елемената.
Клијенти за кошнице:
Они укључују апликацију Тхрифт за извршавање једноставних команди за кошнице које су доступне за питхон, руби, Ц ++ и управљачке програме. Ове корисничке апликације погодују за извршавање упита на кошници. Хиве има три врсте категоризације клијената: штедљиви клијенти, ЈДБЦ и ОДБЦ клијенти.
Услуге кошница:
За обраду свих упита кошница има разне услуге. Корисник у кошници лако дефинише све функције. Погледајмо све те услуге укратко:
- Сучеље командне линије (кориснички интерфејс): Омогућује интеракцију између корисника и кошнице, задану шкољку. Омогућава ГУИ за извршавање командне линије кошнице и увид у кошницу. Такође можемо да користимо веб интерфејсе (ХВИ) за слање упита и интеракција са веб прегледачем.
- Возач кошница: прима упите из различитих извора и клијената као што је штедљив сервер и спрема и преузима ОДБЦ и ЈДБЦ драјвер који се аутоматски повезују са кошницом. Ова компонента врши семантичку анализу гледања табела из метасторе која анализира упит. Управљачки програм узима помоћ компајлера и обавља функције попут парсера, планера, извршавања задатака МапРедуце и оптимизатора.
- Компајлер: Процес и семантички процес упита врши преводилац. Упит претвара у апстрактно стабло синтаксе и поново се враћа у ДАГ ради компатибилности. Оптимизатор, заузврат, дели расположиве задатке. Задатак извршиоца је да извршава задатке и надгледа распоред планова задатака.
- Екецутион Енгине: Све упите обрађује извршни мотор. ДАГ фазни планови извршавају мотор и помажу у управљању зависностима између расположивих фаза и извршавању их на исправној компоненти.
- Метасторе: Дјелује као централно спремиште за похрану свих структурираних информација метаподатака, а такођер је важан аспект за кошницу, јер има информације попут таблица и детаља о партицијама и похрањивање ХДФС датотека. Другим речима, рећи ћемо да метасторе делује као простор имена табела. Метасторе се сматра засебном базом података коју деле и друге компоненте. Метасторе има два дела која се називају сервис и заостатак за складиштење.
Модел података кошнице је структуриран у партиције, канте, таблице. Све ово може се филтрирати, имати кључеве за партицију и процијенити упит. Упит за кошнице ради на Хадооп оквиру, а не на традиционалној бази података. Сервер кошница је интерфејс између удаљеног клијентског упита за кошницу. Мотор за извршење је у потпуности уграђен у кошнички сервер. Примену кошнице можете пронаћи у машинском учењу, пословној интелигенцији у процесу откривања.
Радни ток кошнице:
Кошница ради у две врсте режима: интерактивни режим и неинтерактивни режим. Бивши режим омогућава да све наредбе кошнице прелазе директно у кошницу кошнице, док каснији тип извршава код у режиму конзоле. Подаци су подијељени у партиције које се даље дијеле у канте. Планови извршења заснивају се на агрегацији и напретку података. Додатна предност коришћења кошнице је то што се лако обрађује велика количина информација и има више корисничких интерфејса.
Из горњег дијаграма можемо видети проток података у кошници са системом Хадооп.
Кораци укључују:
- извршите Упит из корисничког сучеља
- добили план из фаза ДАГ задатака возача
- преузми захтев за метаподатке из мета трговине
- пошаљите метаподатке из преводиоца
- враћање плана возачу
- Извршите план у механизму извршења
- дохваћање резултата за одговарајући кориснички упит
- слање резултата двосмерно
- извршавање механизма за обраду у ХДФС-у са смањењем мапе и дохваћањем резултата из чворова података креираних у претраживачу послова. делује као конектор Хиве-а и Хадооп-а.
Задатак покретачког механизма је да комуницира са чворовима како би се добили подаци сачувани у табели. Овде се изводе СКЛ операције као што су креирање, испуштање, измена да би се приступило табели.
Закључак:
Прошли смо кроз архитектуру Хиве и њихов радни ток, кошница у основи врши петабајтну количину података, па је стога пакет складишта података на Хадооп платформи. Како је кошница добар избор за руковање великом количином података, то помаже у припреми података помоћу водича СКЛ интерфејса за решавање проблема МапРедуце. Апацхе кошница је ЕТЛ алат за обраду структурираних података. Познавање архитектуре кошница помаже корпоративним људима да разумеју принцип рада кошнице и добро започне с програмирањем кошница.
Препоручени чланци:
Ово је водич за архитектуру кошница. Овде смо разговарали о архитектури кошнице, различитим компонентама и току рада кошнице. можете погледати и следеће чланке да бисте сазнали више -
- Хадооп Арцхитецтуре
- Усес Оф Руби
- Шта је Ц ++
- Шта је МиСКЛ база података
- Наредба кошнице