Увод у Хадооп алате
Хадооп Алати су оквир који се користи за обраду велике количине података. Ови подаци се дистрибуирају на кластер и врши се расподељено рачунање. Подаци се чувају у блоковима величине 128Мб и за обраду и постизање резултата користи се смањење карте. Традиционално Мап и Редуце су написани на Јави, али било је тешко прекрижити вештине које раде у складишту података, јер они у томе нису имали искуства. СКЛ је добро познат и једноставан за употребу, тако да је проналажењем начина за писање СКЛ-а попут упита који се претвара у Мап анд Редуце, основао Фацебоок и касније поклонио Апацхе-у, овај алат је познат и као кошница. Иахоо је такође израдио алат под називом Пиг који се при извршавању претвара у Редуцирање мапе, а такође имамо и Скооп и флуме за кретање података и алате за убризгавање. ХБасе је алат за управљање базама података.
Карактеристике Хадооп алата
- Кошница
- Свиња
- Скооп
- ХБасе
- Зоокеепер
- Флуме
Сада ћемо видети карактеристике са кратким објашњењем.
1. кошница
Апацхе кошницу је основао Фацебоок, а касније је дониран за Апацхе фондацију која је инфраструктура складишта података, што олакшава писање СКЛ-а као што је Куери или ХивеКЛ. Ови упити се интерно претварају у задатке Мап Редуце и обрада се врши коришћењем дистрибуираног рачунања компаније Хадооп. Може да обрађује податке који се налазе у ХДФС, С3 и сву меморију компатибилну са Хадооп-ом. Можемо користити погодности које пружа Мап Редуце кад год нам се у кошници нађе нешто тешко имплементирати применом у Усер Дефинед Фунцтионс. Омогућује кориснику да регистрира УДФ-ове и користи га у пословима.
Карактеристике кошнице
- Кошница може обрадити многе врсте формата датотека као што су датотека секвенци, ОРЦ датотека, ТектФиле итд.
- Партиционирање, групирање и индексирање доступни су за брже извршавање.
- Компримирани подаци се такође могу учитати у кошницу кошница.
- Управљане или Интерне таблице и екстерне таблице су истакнуте особине кошнице.
2. Свиња
Иахоо је развио Апацхе свињу да би имао додатни алат за јачање Хадооп-а тако што је ад-хоц начин спровео смањење карте. Свиња има мотор под називом Пиг Енгине који претвара скрипте у Смањивање мапе. Свиња је скриптни језик, скрипте написане за Пиг су у ПигЛатин-у, баш као и Хиве овде, ми такође можемо имати УДФ-ове за побољшање функционалности. Задаци у Свињи се аутоматски оптимизују тако да се програмери не требају бринути око тога. Свиња обрађује и структуриране и неструктуриране податке.
Карактеристике свиње
- Корисници могу имати своје функције за обављање посебне врсте обраде података.
- Лако је писати кодове у Свињи, а дужина кода је мања.
- Систем може аутоматски да оптимизира извршење.
3. Скооп
Скооп се користи за пренос података са ХДФС-а у РДБМС и обрнуто. Податке можемо извући на ХДФС из РДБМС-а, кошнице итд., А можемо их обрађивати и извозити у РДБМС. Податке можемо додавати више пута у табелу, такође можемо створити Скооп посао и извршити га 'н' број пута.
Карактеристике Скоопа
- Скооп може увести све таблице одједном у ХДФС.
- Можемо уградити СКЛ упите као и услове при увозу података.
- Ми можемо увести податке у кошницу ако постоји таблица са ХДФС-а.
- Број мапирача се може контролисати, тј. Паралелно извршење може се контролисати одређивањем броја мапирача.
4. ХБасе
Систем управљања базама података на врху ХДФС назива се ХБасе. ХБасе је НоСКЛ база података која је развијена на врху ХДФС-а. ХБасе није релациона база података, не подржава структуриране језике упита. ХБасе користи дистрибуирану обраду ХДФС-а. Може имати велике таблице са милионима и милионима записа.
Карактеристике ХБасе-а
- ХБасе пружа скалабилност и у линеарном и у модуларном облику.
- АПИ-ји у ЈАВА-и могу се користити за приступ клијенту.
- ХБасе пружа омот за извршавање упита.
5. Зоокеепер
Апацхе Зоокеепер је сервис за централизовану конфигурацију, одржава евиденцију информација, именовања, такође пружа дистрибуирану синхронизацију и групне услуге. Зоокеепер је централизовано складиште које користи дистрибуиране апликације за постављање и добијање података о њему. Такође помаже у управљању чворовима, тј. Да се придружи или остави чвор у кластеру. Омогућава високо поуздан регистар података када је мали број чворова доле.
Карактеристике Зоокерара
- Перформансе се могу повећати дистрибуцијом задатака који се постижу додавањем више машина.
- Сакрива сложеност дистрибуције и представља се као јединствена машина.
- Неуспјех неколико система не утјече на цијели систем, али недостатак је што може довести до дјеломичног губитка података.
- Пружа Атомицити тј. Трансакција је или успешна или неуспешна, али није у несавршеном стању.
6. Флуме
Апацхе Флуме је алат који пружа унос података, који може да прикупља, обједињује и превози огромне количине података из различитих извора у ХДФС, ХБасе, итд. Флуме је веома поуздан и може се конфигурисати. Дизајниран је тако да гута стреаминг података са веб сервера или података о догађајима на ХДФС, нпр. Може да гута твиттер податке на ХДФС. Флуме може да складишти податке у било коју од централизованих продавница података, као што су ХБасе / ХДФС. Ако постоји ситуација у којој се продукција података креће с већом брзином у односу на брзину података, онда се левка активира као посредник и осигурава стални проток података.
Карактеристике Флуме-а
- Може да гута податке веб сервера заједно са подацима о догађајима као што су подаци са друштвених медија.
- Трансакције летења су засноване на каналу, тј. Одржавају се две поруке једна је за слање, а једна за пријем.
- Хоризонтално скалирање је могуће у низу.
- Толерантан је на велику грешку, јер је контекстуално усмјеравање присутно на листићу.
Закључак - Хадооп Тоолс
Овде у овом чланку научили смо о неколико Хадооп алата и како су они корисни у свету података. Видели смо кошнице и свиње који се користе за испитивање и анализу података, повезивање за премештање података и истицање протока података у ХДФС.
Препоручени чланци
Ово је водич за Хадооп Тоолс. Овде смо расправљали о различитим алатима Хадоопа са њиховим карактеристикама. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Хадооп алтернативе
- Хадооп база података
- СКЛ стринг функције
- Шта су велики подаци