Шта је Хадооп?
Пет метрика Хадоопа су гласноћа, разноликост, брзина, истинитост и вредност. Подаци се брзо повећавају и долазе у структурираном, неструктурираном и полуструктурираном формату. Подаци се повећавају великом брзином и требали бисмо добити неки важан увид у податке. Подаци морају имати неку вредност, али постоје неке недоследности и несигурности у подацима. Традиционални системи који складиште податке нису у стању да их складиште због брзог повећања. Традиционални систем не може да обради податке долази у сложеној структури података и потребно је огромно времена да би се подаци обрадили. Хадооп би решио питање традиционалног система база података. Хадооп је оквир који паралелно обрађује огромну количину података и чува их у дистрибуираном окружењу. Хадооп има две компоненте 1) ХДФС (чување података преко кластера) 2) МапРедуце (паралелно обрађује податке). ХДФС ће чувати податке у облику различитих блокова. Задана величина блока је 128 МБ.
Апликације Хадоопа
Апликације Хадоопа су објашњене у даљем тексту:
а. Праћење веб локација
Претпоставимо да сте направили веб локацију, желите да знате детаље посетилаца. Хадооп ће прикупити огромну количину података о томе. Даће информације о локацији посетиоца, који је посетилац странице први и највише посетио, колико је времена провео на веб локацији и на којој страници, колико пута је посетилац посетио страницу, који посетилац највише воли. Ово ће пружити предиктивну анализу интересовања посетилаца, перформансе веб локација ће предвидјети шта би интересовање корисника. Хадооп прихвата податке у више формата из више извора. Апацхе ХИВЕ ће се користити за обраду милиона података.
б. Географски подаци
Када купујемо производе са веб локације за е-трговину. Веб локација ће пратити локацију корисника, предвиђати куповину корисника помоћу паметних телефона, таблета. Хадооп кластер ће вам помоћи да схватите пословање на гео-локацији. Ово ће помоћи индустријама да прикажу графикон пословања у свакој области (позитиван или негативан).
ц. Малопродаја индустрија
Малопродаје ће користити податке купаца који су присутни у структурираном и неструктурираном формату да би их разумели, анализирали. Ово ће помоћи кориснику да разуме захтеве купаца и послужиће им бољим предностима и побољшаним услугама.
д. Финансијска индустрија
Финансијска индустрија и финансијске компаније ће проценити финансијски ризик, тржишну вредност и изградити модел који ће клијентима и индустрији пружити боље резултате у погледу улагања попут берзе, директних улагања, итд. Разумети алгоритам трговања. Хадооп ће покренути модел израде.
е. Здравствена индустрија
Хадооп може да похрањује велике количине података. Медицински подаци су присутни у неструктурираном формату. Ово ће лекару помоћи да постави бољу дијагнозу. Хадооп ће чувати историју пацијента дуже од једне године, анализираће симптоме болести.
ф. Дигитални маркетинг
Ми смо у ери 20-их, свака појединац је дигитално повезана. До корисника се долази до информација путем мобилних телефона или лаптопа, а људи упознају сваки детаљ вести, производа итд. Хадооп ће масовно складиштити податке генерисане путем интернета, складиштити, анализирати и пружати резултат компанијама за дигитални маркетинг.
Карактеристике Хадоопа
Следеће су карактеристике Хадоопа:
1. Исплатива: Хадооп не захтева специјализовани или ефикасни хардвер да би је имплементирао. Може се имплементирати на једноставном хардверу који је познат и као хардвер заједнице.
2. Велики кластер чворова: Кластер може бити састављен од 100 или 1000 чворова. Предност од великог кластера је што нуди више рачунарске снаге и огроман систем складиштења.
3. Паралелна обрада: Подаци се могу истовремено обрађивати на свим кластерима и овај процес ће уштедети пуно времена. Традиционални систем није био у стању да уради овај задатак.
4. Дистрибуирани подаци: Хадооп оквир води рачуна о подјели и дистрибуцији података по свим чворовима унутар кластера. Умножава податке преко свих кластера. Фактор репликације је 3.
5. Аутоматско управљање преласком: Претпоставимо да ако било који од чворова унутар кластера не успије, Хадооп оквир ће замијенити машину за грешку новом машином. Поставке репликације старе машине аутоматски се пребацују на нову машину. Админ не треба да брине због тога.
6. Оптимизација локалитета података: Претпоставимо да програмер требају податке чвора из базе података која се налази на другој локацији, програмер ће послати бајт кода у базу података. То ће уштедјети ширину појаса и вријеме.
7. Хетерогени кластер: Има различит чвор који подржава различите машине са различитим верзијама. ИБМ машина подржава Ред хат Линук.
8. Скалабилност: Додавање или уклањање чворова и додавање или уклањање хардверских компоненти у или из кластера. Овај задатак можемо да обавимо без ометања рада кластера. РАМ или чврсти диск се могу додати или уклонити из кластера.
Предности Хадоопа
Предности Хадоопа су објашњене у даљем тексту:
- Хадооп може да обради велику количину података и може да скалира податке на основу захтева података. Сада су подаци за један дан присутни у 1 до 100 терабајта.
- Размјериће огромну количину података без пуно изазова. Узмимо примјер Фацебоока - милиони људи се повезују, дијеле мисли, коментаре итд. Може без проблема рјешавати квар софтвера и хардвера.
- Ако један систем закаже, подаци неће бити изгубљени или нема губитка информација, јер је фактор репликације 3, Подаци се копирају 3 пута и Хадооп ће пребацити податке из једног система у други. Може да обрађује разне врсте података као што су структурирани, неструктурирани или полуструктурирани.
- Подаци о структури као што су табела (лако можемо дохватити вриједност редака или ступаца), неструктурирани подаци попут видео записа, фотографија и полуструктурираних података попут комбинације структурираних и полуструктурираних података.
- Трошкови имплементације Хадоопа с пројектом бигдата су ниски, јер компаније купују услуге складиштења и обраде од пружатеља услуга у облаку, јер су трошкови похране по бајту мали.
- Пружа флексибилност уз генерисање вредности из података као што су структурирани и неструктурирани. Можемо извући драгоцене податке из извора података попут друштвених медија, забавних канала, веб локација за куповину.
- Хадооп може обрађивати податке с ЦСВ датотекама, КСМЛ датотекама итд. Подаци се паралелно обрађују у дистрибуцијском окружењу, можемо пресликати податке када се налазе на кластеру. Сервер и подаци се налазе на истој локацији па је обрада података бржа.
- Ако имамо огроман низ неструктурираних података, можемо прећи терабајте података у року од једне минуте. Програмери могу да кодирају Хадооп користећи различите програмске језике као што су питхон, Ц, Ц ++. То је технологија отвореног кода. Изворни код је лако доступан на мрежи. Ако се подаци из дана у дан повећавају, можемо додати чворове у кластер. Не треба додавати више кластера. Сваки чвор обавља свој посао користећи сопствене ресурсе.
Закључак
Хадооп може да врши велика израчунавања података. Да би ово решио, Гоогле је развио алгоритам за смањивање мапа, Хадооп ће покренути алгоритам. То ће играти велику улогу у статистичкој анализи, пословној интелигенцији и ЕТЛ обради. Једноставан за употребу и јефтинији. Може да обрађује терабајт података, анализира их и даје вредност подацима без икаквих потешкоћа без губитка података.
Препоручени чланци
Ово је водич за Шта је Хадооп ?. Овде смо расправљали о примени Хадоопа и карактеристика заједно са предностима. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Методе кластерирања
- ИоТ Софтваре
- Хадооп ФС Командна листа
- Предности Хадоопа
- Како коментари раде у ПХП-у?