Шта је кошница?
Апацхе Хиве је систем складишта података дизајниран на врху отворене Хадооп платформе и користи се за обједињавање података, постављање упита великих података, анализу података итд.
Кошницу је развио Фацебоок, а касније га је преузела Апацхе Софтваре Фоундатион која га је даље развила као отворени извор под именом Апацхе Хиве.
Дефиниција:
То није релациона база података и зато није погодна за обраду трансакција на мрежи и упите у реалном времену са ажурирањима на нивоу реда. Кућиште је дизајнирано за аналитичку обраду на мрежи или ОЛАП. Такође пружа језик упита под називом ХивеКЛ. Скалабилан је, брз и проширив. Претвара упите који изгледају готово као СКЛ у МапРедуце послове за лако извршавање и обраду велике количине података. Апацхе кошница је једна од компоненти Хадооп-а коју иначе користе аналитичари података док се за исти задатак користи и свиња Апацхе, али више је користе истраживачи и програмери. Апацхе кошница као систем складиштења отвореног кода користи се за испитивање и анализу огромних скупова података који су смештени у Хадооп складишту. Кошница је најприкладнија за серијске задатке, а не за мрежне типове радних трансакција на мрежи. Такође не подржава упите у стварном времену. Хиве користи СКЛ као језик упита и углавном се користи за креирање извештаја. Пањ је обично распоређен на страни сервера и подржава структуриране податке. Хиве такође подржава интеграцију са ЈДБЦ и БИ алатима.
Разумевање кошнице:
Испод су главне компоненте кошнице:
Мета продавница:
Складиште које похрањује метаподатке назива се мета складиште кошница. Метаподаци се састоје од различитих података о таблицама као што су њихова локација, шема, информације о партицијама које помажу у надгледању различито дистрибуираног напретка података у кластеру. Такође прати податке и реплицира податке који пружају резервну копију у случају нужде као што је губитак података. Информације о метаподацима присутне су у релацијским базама података, а не у систему датотека Хадооп.
Возач:
Након извршења изјаве језика језика кошнице, возач прима изјаву и контролише је током целог циклуса извршења. Упоредо са извршењем изјаве, возач похрањује и метаподатке генериране извршењем. Такође ствара сесије за праћење напретка и животног циклуса различитих погубљења. Након завршетка операције смањења помоћу програма МапРедуце, возач прикупља све податке и резултате упита
Компајлер:
Користи се за превођење језика упита у кошницу на улаз МапРедуце. Позива методу која извршава кораке и задатке који су потребни за читање ХивеКЛ излаза према потреби МапРедуце.
Оптимизер:
Главни задатак оптимизатора је побољшање ефикасности и скалабилности, стварајући задатак током трансформације података пре смањења. Такође врши трансформације попут здруживања, конверзије цевовода једним спајањем за више спајања.
Извршитељ:
Након састављања и корака оптимизације главни задатак извршиоца је извршавање задатака. Главни задатак извршиоца је интеракција са Хадооп програмом за праћење послова ради планирања задатака који су спремни за покретање.
УИ, Тхрифт сервер и ЦЛИ:
Тхрифт сервер други клијенти користе за интеракцију са Хиве мотором. Корисничко сучеље и интерфејс командне линије помажу у подношењу упита, као и у надгледању процеса и упутама како би вањски корисници могли комуницирати са кошницом.
Испод су кораци који приказују интеракцију кошница са Хадооп оквиром:
Извршавање упита:
Упит се возачу шаље с интерфејса кошнице, као што су командна линија или веб корисничко сучеље. Управљачки програм може бити било који управљачки програм базе података попут ЈДБ или ОДБЦ итд.
Добијање плана:
Синтакса за захтев плана или упита може се проверити помоћу компајлера упита који пролази кроз упит и позива га возач.
Добивање метаподатака:
Мета трговина може бити у било којој бази података, а преводилац подноси захтјев за приступ метаподацима.
Слање метаподатака:
На захтев преводиоца, мета трговина шаље метаподатке.
Слање плана:
Компајлер шаље план возачу о верификацији захтева које је послао преводилац. Овај корак довршава анализу и састављање упита.
Извршавање плана:
План извршења возач шаље извршном мотору.
Извршавање посла:
Извршење посла је посао МапРедуце који се покреће у позадини. Затим слиједи уобичајена конвенција Хадооп оквира - извршни механизам ће послати посао трагачу посла који се налази на имену чвора, а именски чвор ће заузврат додијелити задатак трагачу задатака који је у напомени с подацима. Овдје се извршава посао МапРедуце.
Метаподаци опс:
Док извршава посао, извршни механизам може извршити операције метаподатака с мета похраном.
Преузимање резултата:
Чворови података након завршетка обраде прослеђују резултат извршном строју.
Слање резултата
Возач добија резултат од извршног мотора.
Слање резултата:
На крају, интерфејси кошнице добијају резултат од возача.
Дакле, извршавањем горњих корака долази до потпуног извршења упита у кошници.
Како кошница чини рад тако лаким?
Хиве је Оквир за складиштење података изграђен на врху Хадоопа који помаже кориснику у обављању анализе података, упити у податке и обједињавању података на великим количинама скупова података. ХивеКЛ је јединствена функција која изгледа као СКЛ подаци похрањени у бази података и обавља опсежну анализу. Био сам способан да читам податке веома великом брзином и упишем податке у магацине података, као и да могу да управљам великим скупима података распоређеним на више локација. Заједно са овом кошницом такође пружа структуру подацима који се чувају у бази података и корисници су у могућности да се повежу на кошницу користећи алат командне линије или управљачки програм ЈДБЦ.
Топ компаније:
Главне организације које раде са великим подацима користиле су кошнице - као што су фацебоок, Амазон, Валмарт и многи други.
Шта можете учинити са кошницом?
Постоји много функционалности кошнице попут упита података, резимирања и анализе података. Хиве подржава језик упита који се зове ХивеКЛ или Хиве Куери Лангуаге. Језички упити Хиве упита се преводе у посао МапРедуце који се обрађује на Хадооп групи. Поред овога, Хивекл такође смањује скрипту која се може додати у упите. На овај начин, ХивеКЛ повећава флексибилност дизајна шеме која такође подржава десеријализацију података и сериализацију података.
Рад са кошницом:
Испод су неки оперативни детаљи у кошници. Подаци типа кошница су широко класификовани у четири врсте као што су дате у наставку:
- Типови колона
- Литерали
- Нулте вредности
- Сложени типови
1. Врсте колона:
Ово су типови података колона у кошници. Они су класификовани као испод:
- Интегрални типови: Подаци целог броја приказани су користећи интегрални тип података. Симбол је ИНТ. Било којим подацима који прелазе горњу границу ИНТ-а мора се доделити врста БИГИНТ-а. На исти начин, свим подацима испод доње границе ИНТ-а потребно је доделити СМАЛЛИНТ. Постоји још једна врста података звана ТИНИИНТ која је чак и мања од СМАЛЛИНТ.
- Врсте стрингова: Врста стрингова података представљена је у кошници једним цитатом (') или двоструким наводницима («). Може бити две врсте - ВАРЦХАР или ЦХАР.
- Временска ознака : Временска ознака кошнице подржава формат јава.скл.Тиместамп „гггг-мм-дд хх: мм: сс.фффффффффф“ и формат „ГГГГ-ММ-ДД ХХ: ММ: СС.ффффффффф“.
- Датум: Датум је представљен у кошници у облику ГГГГ-ММ-ДД који представља дан-месец-дан.
- Децималс : Децималс у кошници је представљен у јава великом децималном формату и користи се за представљање непроменљиве произвољне прецизности. Представља се у формату Децимал (прецизност, скала).
- Типови уније: Унион се користи у кошници за стварање колекције хетерогених података. Може се креирати помоћу креирања уније.
Испод је пример:
UNIONTYPE
(0:1)
(1:2.0)
(2:("three", "four"))
(3:("a":5, "b":"five"))
(2:("six", "seven"))
(3:("a":8, "b":"eight"))
(0:9)
(1:10.0)UNIONTYPE
(0:1)
(1:2.0)
(2:("three", "four"))
(3:("a":5, "b":"five"))
(2:("six", "seven"))
(3:("a":8, "b":"eight"))
(0:9)
(1:10.0)
2. Литерали:
Мало је дословних записа у кошници. Они су као испод:
- Врста плутајуће тачке : Они су представљени као бројеви са децималном тачком. Они су прилично слични двоструком типу података.
- Децимални тип : Ова врста података садржи само податке децималног типа, али с већим распоном вриједности плутајуће тачке од двоструког типа података. Распон децималног типа је приближно -10 -308 до 10 308.
3. Нулта вредност:
Посебна вредност НУЛЛ представља недостајуће вредности у кошници.
4. Сложени типови:
Испод су различите сложене врсте које се налазе у кошници:
- Низови : Низови су представљени у кошници у истом облику као и јава. Синтакса је попут АРРАИ.
- Карте : Мапе су представљене у кошници у истом облику као и јава. Синтакса је као МАП
- .
- Структуре : Структуре у кошници су представљене као сложени подаци са коментарима. Синтакса је попут
STRUCT.
Поред свега наведеног, можемо креирати базе података, табеле, поделити их и мноштво других функција.
- Базе података: Они су простори имена који садрже збирку табела. Испод је синтакса за креирање базе података у кошници.
CREATE DATABASE (IF NOT EXISTS) sampled;
Базе података се такође могу одбацити ако више нису потребне. Испод је синтакса за пад базе података.
DROP DATABASE (IF EXISTS) sampled;
- Табеле: Такође се могу креирати у кошници за чување података. Испод је синтакса за креирање табеле.
CREATE (TEMPORARY) (EXTERNAL) TABLE (IF NOT EXISTS) (db_name.) table_nam
((col_name data_type (COMMENT col_comment), …)) (COMMENT table_comment
(ROW FORMAT row_format) (STORED AS file_format)
Табела се такође може одбацити ако вам више није потребна. Испод је синтакса за пад стола.
DROP TABLE (IF EXISTS) table_name;
Предности
Главна предност Апацхе Хиве је у испитивању података, сажетку и анализи података. Кућиште је дизајнирано за бољу продуктивност програмера и такође долази са трошковима повећања латенције и смањења ефикасности. Апацхе Хиве пружа широк спектар кориснички дефинисаних функција које се могу повезати са другим Хадооп пакетима попут РХипе, Апацхе Махоут, итд. У великој мери помаже програмерима када раде са сложеном аналитичком обрадом и вишеструким форматима података. Користи се углавном за складиштење података што значи систем који се користи за извештавање и анализу података.
То укључује чишћење, трансформисање и моделирање података како би се пружиле корисне информације о различитим пословним аспектима који ће помоћи у стварању користи за организацију. Анализа података има много различитих аспеката и приступа који обухватају различите технике са разним именима у различитим пословним моделима, друштвеним научним доменима, итд. Хиве је прилагођен многим корисницима и омогућава корисницима да истовремено приступе подацима повећавајући време одзива. У поређењу са другом врстом упита о огромним подацима, време реакције кошнице је много брже од осталих. Такође је много флексибилан у погледу перформанси када додате више података и повећава број чворова у кластеру.
Зашто бисмо користили кошницу?
Заједно са кошницом за анализу података, пружа широк спектар могућности за похрану података у ХДФС. Хиве подржава различите систем датотека као што су равна датотека или текстуална датотека, секвенцијална датотека која се састоји од бинарних парова кључ-вредност, РЦ датотека које чувају ступац табеле у колонској бази података. Данас је датотека која је најприкладнија за Хиве позната као ОРЦ датотеке или Оптимизед Ров Цолумнар датотеке.
Зашто нам треба кошница?
У данашњем свету Хадооп је повезан са најраспрострањенијим технологијама које се користе за велику обраду података. Врло богата колекција алата и технологија које се користе за анализу података и друге велике податке.
Ко је права публика за учење технологија кошнице?
Углавном људи који имају позадину као програмери, Хадооп аналитика, системски администратори, складиштење података, СКЛ профессионал и Хадооп администрација могу да савладају кошницу.
Како ће вам ова технологија помоћи у развоју каријере?
Кошница је једна од најбољих вештина на тржишту у данашње време и једно је од најбољих алата за анализу података у свету великих података Хадооп. Велика предузећа која раде анализе на великим скуповима података увек траже људе са правима вештина тако да могу да управљају и претражују огромне количине података. Хиве је један од најбољих алата на тржишту великих технологија података последњих дана који може помоћи организацији широм света за њихову анализу података.
Закључак:
Осим горе наведених функција кошница има и много напредније могућности. Моћ кошнице да са великом тачношћу обрађује велики број скупова података чини кошницу једним најбољим алатом који се користи за аналитику на великој платформи података. Поред тога, такође има велики потенцијал да се у наредним данима постави као један од водећих алата за анализу великих података због периодичног унапређења и једноставности употребе за крајњег корисника.
Препоручени чланци
Ово је водич за Шта је кошница. Овдје смо разговарали о раду, вјештинама, расту у каријери, предностима компаније Хиве и врхунским компанијама које имплементирају ову технологију. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Команде за кошнице
- Питања за интервју са кошницом
- Шта је Азуре?
- Шта је технологија великих података?
- Архитектура кошница | Дефиниција
- Коришћење налога ОРДЕР БИ у кошници