Разлика између Хадоопа и кошнице
Хадооп:
Хадооп је оквир или софтвер који је измишљен за управљање огромним подацима или великим подацима. Хадооп се користи за чување и обраду великих података дистрибуираних на групи робних сервера.
Хадооп чува податке користећи Хадооп дистрибуирани систем датотека и обрађује их / претражује помоћу програмског модела Мап Редуце.
Слика 1, Основна архитектура Хадооп компоненте.
Хадооп-ове главне компоненте:
Хадооп база / уобичајена: Хадооп цоммон ће вам пружити једну платформу за инсталирање свих његових компоненти.
ХДФС (Хадооп Дистрибутед Филе Систем): ХДФС је главни део Хадооп оквира који води рачуна о свим подацима у Хадооп Цлустер-у. Ради на Мастер / Славе архитектури и спрема податке користећи репликацију.
Главна / Славе архитектура и репликација:
- Главни чвор / назив чвор: Име чвора похрањује метаподатке сваког блока / датотеке похрањене у ХДФС, ХДФС може имати само један главни чвор (у случају ХА други главни чвор ће радити као секундарни главни чвор).
- Подређени чвор / чвор података: Чворови података садрже стварне датотеке података у блоковима. ХДФС може имати више чворова података.
- Репликација: ХДФС похрањује своје податке дијелећи их у блокове. Задана величина блока је 64 МБ. Због репликације се подаци похрањују у 3 (задани фактор репликације може се по потреби повећати) различити чворови података, па постоји најмања могућност губитка података у случају било каквог квара чвора.
ПРИЈАТЕЉ (још један преговарач о ресурсима): У основи се користи за управљање ресурсима Хадооп-а и игра важну улогу у заказивању корисничких апликација.
МР (Смањивање мапе): Ово је основни програмски модел Хадоопа. Користи се за обраду / упит података унутар Хадооп оквира.
Кошница:
Хиве је апликација која се покреће преко Хадооп оквира и пружа интерфејс сличан СКЛ-у за обраду / упит података. Фацебоок је осмислио и развио Фацебоок пре него што је постао део Апацхе-Хадооп пројекта.
Хиве води свој упит користећи ХКЛ (језик упита језика). Кошница има исту структуру као РДБМС и у кошници се могу користити готово исте наредбе.
Хиве може да похрањује податке у екстерне табеле, тако да није обавезан за ХДФС који се користи, али подржава формате датотека као што су ОРЦ, Авро датотеке, Секуенце Филе и Тект датотеке итд.
Слика 2, Хивеова архитектура и главне компоненте.
Главна компонента кошнице:
Клијенти за кошнице: Не само СКЛ, Хиве такође подржава програмске језике као што су Јава, Ц, Питхон користећи разне управљачке програме као што су ОДБЦ, ЈДБЦ и Тхрифт. Може се написати било која апликација клијента за кошнице на другим језицима и може се покретати у кошници помоћу ових клијената.
Услуге кошнице: У оквиру услуга кошнице врши се извршавање наредби и упита. Веб интерфејс за кошнице има пет под-компоненти.
- ЦЛИ: Подразумевани интерфејс наредбеног ретка који обезбеђује Хиве за извршење упита Хиве / наредбе.
- Веб интерфејси кошнице: То је једноставно графичко корисничко сучеље. Алтернатива је Хиве командној линији и користи се за покретање упита и наредби у Хиве апликацији.
- Сервер кошница: Зове се и као Апацхе Тхрифт. Одговорно је за узимање наредби из различитих-различитих интерфејса командне линије и све команде / упите предаје Хивеу, такође, добија коначни резултат.
- Апацхе драјвер за кошнице: Одговорно је за то да клијент унесе ЦЛИ, веб сучеље, ОДБЦ, ЈДБЦ или Тхрифт интерфејсе и проследи их у метасторе где су све информације о датотеци похрањене.
- Метасторе: Метасторе је складиште које спрема све податке метаподатака Хиве. Метаподатци компаније Хиве похрањују информације као што су структура таблица, партиција и тип ступца итд …
Складиштење кошнице: То је локација на којој се обавља стварни задатак. Сви упити који се покрећу из кошнице извршили су радњу у складишту кошнице.
Упоређивање између Хадоопа и Хивеа (Инфограпхицс)
Испод је 8 најбољих разлика између Хадоопа и Хивеа
Кључне разлике између Хадооп и Хиве:
Испод су спискови тачака, опишите кључне разлике између Хадоопа и кошнице:
1) Хадооп је оквир за обраду / упит великих података док је Хиве алат заснован на СКЛ-у који гради преко Хадооп-а за обраду података.
2) Хиве обрађује / испитује све податке користећи ХКЛ (језик упита кошнице) то је језик сличан СКЛ-у, док Хадооп може разумјети само смањење мапе.
3) Смањивање мапе саставни је део Хадоопа, Хивеов упит најпре се претвара у Смањивање мапе него што га је Хадооп обрадио да би се испитивали подаци.
4) Хиве ради на СКЛ Лике упиту док га Хадооп разуме само помоћу Јава Редуцед Мап Редуце.
5) У кошници, раније коришћене традиционалне „Релационе базе података“ наредбе се такође могу користити за испитивање великих података док су у Хадоопу, морају писати сложене програме за смањење мапа помоћу Јава који није сличан традицији Јава.
6) кошница може обрадити / упитати само структуриране податке, док је Хадооп намењен свим врстама података било да су структурирани, неструктурирани или полуструктурирани.
7) Користећи Хиве, особа може обрадити / упитати податке без сложеног програмирања док је у екосистему Симпле Хадооп потребно исписати сложени Јава програм за исте податке.
8) Једна страна Хадооп оквира треба 100с линију за припрему МР програма заснованог на Јави, друга страна Хадооп са Хивеом може тражити исте податке користећи 8 до 10 редака ХКЛ-а.
9) У кошници је веома тешко убацити излаз једног упита као уноса другог, док се исти упит може лако обавити користећи Хадооп са МР.
10) Није обавезно Метасторе имати у Хадооп кластеру док Хадооп похрањује све своје метаподатке унутар ХДФС (Хадооп Дистрибутед Филе Систем).
Табела упоређивања Хадооп-а и кошница
| Поређење Поени | Кошница | Хадооп |
|
Дизајн и развој | Фејсбук | Гоогле |
| Локација за похрану података |
Подаци се могу сачувати у екстерном Табела, ХБасе или у ХДФС. | Строго само ХДФС. |
| Језичка подршка | ХКЛ (језик упита за кошнице) |
Може да користи више програмских језика као што су Јава, Питхон, Сцала и многи други. |
| Типови података | Може да ради само на структурираним подацима. |
Може да обрађује податке Структурирани, неструктурирани и полуструктурирани. |
| Оквир за обраду података |
ХКЛ (језик упита за кошнице) | Користите само програм написан на Јава програму Редуце Мап. |
|
Рачунални оквир | СКЛ-језик. | СКЛ и Но-СКЛ. |
| База података |
Дерби (подразумевано) такође подржава МИСКЛ, Орацле… | ХБасе, Цассандра итд…. |
| Программинг Фрамеворк |
Програмски оквир заснован на СКЛ-у. | Програмски оквир заснован на Јави. |
Закључак - Хадооп вс Хиве
Хадооп и Хиве се користе за обраду великих података. Хадооп је оквир који пружа платформу за друге апликације за упит / обраду великих података док је Хиве само апликација заснована на СКЛ-у која обрађује податке користећи ХКЛ (језик кошнице упита)
Хадооп се може користити без кошнице за обраду великих података док није лако користити кошницу без Хадоопа.
Као закључак, не можемо ни у ком аспекту упоређивати Хадооп и Хиве ни у једном аспекту. И Хадооп и Хиве су потпуно различити. Употреба обе технологије заједно може олакшати процес Биг Дата-а лакшим и угоднијим за велике кориснике података.
Препоручени чланци:
Ово је водич за Хадооп вс кошницу, њихово значење, упоређивање главе до главе, кључне разлике, табелу упоређивања и закључак. Такође можете погледати следеће чланке да бисте сазнали више -
- Хадооп вс Апацхе Спарк - Занимљиве ствари које морате знати
- ХАДООП вс РДБМС | Знајте 12 корисних разлика
- Колико велики подаци мењају лице здравствене заштите
- Топ 12 поређење Апацхе Хиве са Апацхе ХБасе (Инфограпхицс)
- Невероватни водич на Хадоопу вс Спарк