Увод у ХивеКЛ
ХивеКЛ, уобичајено познат као ХКЛ, је језик упита сличан СКЛ-у за обраду великих делова података из окружења Хадооп. Првобитно развијен од стране Фацебоока око 2007, Хиве је касније постао пројекат Апацхе отвореног кода. Упити за кошнице са синтаксом сличном СКЛ-у данас су постали популарни међу аналитичарима података. ХивеКЛ који користи ХДФС за складиштење и МапРедуце за обраду помаже у добивању увида за кориснике великих података са минималним искуством кодирања. Различити други погонски рачунски мотори попут Апацхе Тез и Апацхе Спарк могу се користити са ХивеКЛ-ом за бржу обраду података великих података. Различити начини употребе ХивеКЛ-а су - ЦЛИ (интерфејс командне линије), комерцијални производи попут Кармаспхере, Цлоудера-овог отвореног кода Хуе и Куболе.
Рад ХивеКЛ-а
Хиве пружа дијалект сличан СКЛ-у за манипулацију подацима, елиминирајући потребу да пишемо задатке МапРедуце на ниском нивоу да бисмо дохватили податке (кроз Маппер) и објединили коначне резултате (кроз Редуцер Модулес).
-
Извршавање упита кошнице
Кораци укључени у извршавање упита кошнице су:
- Интерфејс кошнице (преко ЦЛИ или Веб УИ) шаље захтев Дривер-у (а то је ЈДБЦ, ОДБЦ или Тхрифт Сервер) да компилира, оптимизира и изврши. Провјерава упит путем компајлера за синтаксу и план извршења.
- Компајлер шаље захтев Метасторе-у и као мета одговор добија метаподатке.
- Компајлер враћа управљачки план назад управљачком програму, који га даље шаље извршном механизму.
- Покретач извршења у интеракцији је са Јоб Трацкер-ом, који је Име чвора да би се посао обавио.
- Паралелно, извршни мотор такође извршава операцију Метадата.
- Чвор имена добива посао помоћу трагача задатака или чворова података.
- Резултати који се деле са извршним механизмом који се затим преко драјвера приказују у интерфејсу.
-
Оптимизација упита
Угађање ХивеКЛ-а ради боље оптимизације упита. Помоћу доле постављених наредби можемо надјачати задане конфигурације и омогућити брже извршавање упита.
1 . СЕТ хиве.екецутион.енгине = тез
По дефаулту је извршни механизам постављен као Мапредуце, али можемо га експлицитно подесити на тез (само за Хадооп 2) или Спарк (за кошницу 1.1. 0 па надаље).
2 СЕТ хиве.мапред.моде = неограничен
Ово је за динамичку партицију која је корисна за учитавање великих скупова података. Међутим, статичка партиција је постављена као подразумевана, што се дешава у "строгом" режиму.
3 . СЕТ хиве.вецторизед.екецутион = тачно
сет хиве.вецторизед.екецутион.енаблед = труе
Векторизовано извршавање упита омогућава рад попут агрегата, филтера или придруживања у серијама од 1024 редака, уместо у једном реду.
4 . СЕТ хиве.ауто.цонверт.јоин = тачно
Док се придружује великом скупу података са врло малим скупом података, спајања карата су ефикасније и могу се поставити помоћу горње наредбе.
5 . СЕТ хиве.екец.параллел = тачно
Послови МапРедуце паралелно се извршавају у Хадоопу. Понекад, ако упити не зависе један од другог, може се погодовати паралелно извршавање које води бољем управљању меморијом.
6 СЕТ хиве.екец.цомпресс.оутпут = тачно
Ово омогућава да се коначни излаз похрани у ХДФС-у у компримираном формату.
7 . СЕТ хиве.екец.цомпресс.оутпут = тачно
Ово омогућава да се коначни излаз похрани у ХДФС-у у компримираном формату.
Карактеристике ХивеКЛ-а
- Будући да је језик високог нивоа, упити кошнице се имплицитно претварају у послове смањене мапе или сложене ДАГ-ове (усмерени ациклични графикони). Користећи кључну реч 'Објасни' пре упита, можемо добити план упита.
- Брже извршење упита користећи Метадата стораге у РДМС формату и реплицира податке, што олакшава преузимање у случају губитка.
- Индексирање битмапа врши се за убрзавање упита.
- Побољшава перформансе омогућавајући поделу података.
- Кошница може обрадити различите врсте компримованих датотека чиме штеди простор на диску.
- Да би управљао низовима, целим бројевима или датумима, ХивеКЛ подржава проширење кориснички дефинисаних функција (УДФ), за решавање проблема који нису подржани од уграђених УДФ-ова.
- Пружа низ додатних АПИ-ја за изградњу прилагођеног механизма упита.
- Подржани су различити формати датотека као што су Тектфиле, Секуенцефиле, ОРЦ (Оптимизед Ров Цолумнар), РЦФиле, Авро и Паркует. ОРЦ формат датотеке је најприкладнији за побољшање перформанси упита јер чува податке на најоптимизиранији начин, што доводи до бржег извршавања упита.
- То је ефикасан алат за анализу података и ЕТЛ алат за велике скупове података 10. Једноставно је уписати упите јер је сличан СКЛ-у. Наредбе ДДЛ (језик дефиниције података) у кошници се користе за одређивање и промену структуре базе података или табела у кошници. Ове команде се спуштају, стварају, скраћују, мењају, приказују или описују.
Ограничења
- Упити за кошнице имају веће кашњење јер је Хадооп систем оријентисан као шаржа.
- Гнездене или подупити нису подржане.
- Операција ажурирања, брисања или уметања не може се извршити на рекордној разини.
- Обрада или постављање података у стварном времену није понуђена кроз Хиве Сцопе ХКЛ.
Са петабајтима података, у распону од милијарди до трилијуна записа, ХивеКЛ има велики простор за професионалце са великим подацима.
Обим ХивеКЛ-а
Испод су начини на који се опсег ХивеКЛ-а проширује и боље служи сврси анализе хумунгоус података које генерирају корисници сваки дан.
Сигурност: Упоредо са обрадом великих података, Хиве пружа сигурност података. Овај задатак је сложен за дистрибуирани систем, јер је за међусобну комуникацију потребно више компоненти. Подршка за ауторизацију Керберос омогућава аутентификацију између клијента и сервера.
Закључавање: Традиционално, кошници недостаје закључавање у редове, ступце или упите. Осип може користити Апацхе Зоокеепер за закључавање подршке.
Управљање током рада : Апацхе Оозие је планер радног тока за аутоматизацију различитих ХивеКЛ упита да се извршавају редоследно или паралелно.
Визуализација: Зеппелин нотебоок је веб локација заснована на рачунару, која омогућава интерактивну анализу података. Подржава кошницу и варницу за визуелизацију и сарадњу података.
Закључак
ХивеКЛ се широко користи у организацијама за решавање сложених случајева употребе. Имајући у виду карактеристике и ограничења која језик нуди, језик упита се користи у телекомуникацијама, здравству, малопродаји, банкарству и финансијским услугама, па чак и НАСА-ином лабораторију за испитивање климе за оцену климе. Једноставност писања СКЛ-а, као што су упити и наредбе, омогућава шире прихватање. Растућа могућност запослења на овом пољу привлачи свјеже и професионалце из различитих сектора да стекну практично искуство и знање о тој области.
Препоручени чланци
Ово је водич за ХивеКЛ. Овдје смо разговарали о Уводу у ХивеКЛ, оптимизацији упита и његовим ограничењима и значајкама. Можете и да прођете кроз наше повезане чланке да бисте сазнали више -
- Шта су типови података кошнице?
- Алтернатива за кошнице | Сазнајте функције
- Главне компоненте команди кошница
- Топ 10 питања за интервју са кошницом