Увод у Хадооп екосистем
Хадооп екосистем је оквир који помаже у рјешавању великих података. Основна компонента Хадооп екосистема је систем дистрибуције датотека Хадооп (ХДФС). ХДФС је дистрибуирани систем датотека који има могућност складиштења великог низа података. Помоћу наредби схелл-а ХАДООП интерактиван са ХДФС. Хадооп разбија неструктуриране податке и дистрибуира их у различите одељке за анализу података. Еко-систем пружа многим компонентама а технологије имају способност решавања пословних сложених задатака. Екосистем укључује пројекте отвореног кода и примере
Преглед екосистема Хадооп
Као што сви знамо да Интернет игра виталну улогу у електроничкој индустрији, а количина података која се генерише кроз чворове је врло велика и доводи до револуције података. Подаци су огромни по обиму, па постоји потреба за платформом која би се бринула о њима. Хадооп архитектура минимизира радну снагу и помаже у заказивању послова. За обраду ових података потребна нам је снажна рачунска снага да бисмо се борили са њима. Како се подаци драстично повећавају, потребна је велика количина меморије и већа брзина за обраду терабајта података, а за испуњење изазова користи се дистрибуирани систем који користи више рачунара за синхронизацију података. За рјешавање овог система обраде обавезно је открити софтверску платформу за рјешавање проблема везаних за податке. Ту се развија Хадооп за решавање проблема са великим подацима.
Компоненте екосистема Хадооп
Као што смо видели преглед Хадооп екосистема и добро познатих примера отвореног кода, сада ћемо дубоко разговарати о списку компоненти Хадооп појединачно и њиховим специфичним улогама у великој обради података. Компоненте Хадооп екосистема су:
-
ХДФС:
Хадооп Дистрибуирани датотечни систем је окосница компаније Хадооп која ради на јава језику и похрањује податке у Хадооп апликације. Они дјелују као командни интерфејс за интеракцију са Хадооп-ом. две компоненте ХДФС - чвор података, назив чвор. Име чвора главни чвор управља датотечним системима и управља свим чворовима података и одржава записе о ажурирању метаподатака. У случају брисања података, они се аутоматски записују у Едит Лог. Чвору података (Славе чвор) потребан је огроман простор за похрану због перформанси операција читања и писања. Они раде у складу са упутствима Име чвора. Чворови података су хардвер у дистрибуираном систему.
-
ХБАСЕ:
То је оквир отвореног кода који чува све врсте података и не подржава СКЛ базу података. Трче се преко ХДФС-а и пишу јава језиком. Већина компанија их користи за његове карактеристике попут подржавања свих врста података, високе сигурности, употребе таблица ХБасе. Они играју виталну улогу у аналитичкој обради. Две главне компоненте ХБасе су мастер ХБасе, Регионал Сервер. ХБасе мајстор је одговоран за балансирање оптерећења у Хадооп групи и контролише фаиловер. Они су одговорни за обављање улоге администрације. Улога регионалног сервера била би раднички чвор и одговоран је за читање, писање података у кеш меморију.
-
ПРИЈА:
Важна је компонента екосистема и названа је као оперативни систем у Хадоопу који пружа управљање ресурсима и задатак заказивања послова. Компоненте су Ресоурце анд Ноде манагер, Манагер за управљање и контејнер. Такође делују и као чувари у читавим групама Хадооп. Они помажу у динамичкој расподјели ресурса кластера, повећању процеса обраде података и омогућавају моторе с више приступа.
-
Скооп:
То је алат који помаже у преносу података између ХДФС и МиСКЛ и пружа могућност увоза и извоза података, они имају конектор за дохваћање и повезивање података.
-
Апацхе Спарк:
То је рачунски оквир отвореног кластера за анализу података и основни механизам за обраду података. Написана је на скали, а долази са упакованим стандардним библиотекама. Многе компаније их користе за велику брзину обраде и обраду токова.
-
Апацхе Флуме:
То је дистрибуирана услуга која прикупља велику количину података из извора (веб сервер) и враћа се назад у своје порекло и преноси на ХДФС. Три компоненте су Извор, судопер и канал.
-
Смањивање Хадооп мапе:
Одговорна је за обраду података и дјелује као основна компонента Хадоопа. Мап Редуце је процесор који ради паралелну обраду у више система истог кластера. Ова техника се заснива на методи подијели и осваја и пише у јава програмирању. Због паралелне обраде, помаже у брзом процесу да се избегне загушени саобраћај и ефикасно побољшава обрада података.
-
Апацхе Пиг:
Дата Манипулација Хадоопа врши Апацхе Пиг и користи свињски латински језик. Помаже код поновне употребе кода и лаког за читање и писање кода.
-
Кошница:
То је софтвер платформе отвореног кода за извођење концепата складиштења података, а успева да упита велике скупове података сачуване у ХДФС. Изграђен је на врху Хадооп екосистема. језик који користи кошница је језик упита за кошнице. Корисник шаље пањ упита са метаподацима који претвара СКЛ у задатке за смањење мапе и даје се Хадооп кластеру који се састоји од једног главног и великог броја робова.
-
Апацхе Дрилл:
Апацхе Дрилл је СКЛ машина отвореног кода која обрађује не-релацијске базе података и систем датотека. Дизајнирани су да подрже полу-структуриране базе података које се налазе у Цлоуд стораге-у. Имају добре могућности управљања меморијом за одржавање одвоза смећа. Додатне функције укључују ступацно представљање и коришћење дистрибуираних спајања.
-
Апацхе Зоокеепер:
То је АПИ који помаже у дистрибуираној координацији. Овде се чвор назван Зноде ствара апликацијом у кластеру Хадооп. Они раде услуге попут Синхронизације, Конфигурације. Он сортира дуготрајну координацију у Хадооп екосистему.
-
Оозие:
Оозие је јава веб апликација која одржава много радних токова у Хадооп групи. Контрола АПИ-ја веб услуга над послом врши се било где. Популарно је за ефикасно руковање с више послова.
Примери Хадооп екосистема
Што се тиче смањења мапа можемо видети пример и случај употребе. један такав случај је Скибок који користи Хадооп за анализу огромне количине података. Хиве може да нађе једноставност на Фацебооку. Учесталост броја речи у реченици помоћу мапе редукције. МАП се обавља узимајући бројање као улаз и обављајући функције као што су филтрирање и сортирање и смањење () консолидује резултат. Наведите пример преузимања ученика из различитих држава из база података ученика помоћу различитих ДМЛ команди
Закључак
Овим се закључује кратка уводна белешка о Хадооп екосистему. Апацхе Хадооп је стекао популарност због својих карактеристика као што су анализа скупа података, паралелна обрада и помоћ у толеранцији грешака. Основне компоненте екосистема укључују Хадооп цоммон, ХДФС, Мап-редуцирање и предиву. Да бисте изградили ефикасно решење. Неопходно је научити скуп компоненти, а свака компонента ради свој јединствени посао јер је Хадооп функционалност.
Препоручени чланци
Ово је водич за Хадооп компоненте екосистема. Овде смо детаљно расправљали о компонентама Хадооп екосистема. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Опсег каријере у Хадоопу
- Које су употребе Хадоопа?
- Шта је АВТ у Јави?
- Научите складиште података вс Хадооп