Увод у велике технологије података
Технологија великих података и Хадооп је велика језива реч као што можда звучи. Пошто је дошло до великог повећања домена података и информација из сваке индустрије и домена, постало је изузетно важно успоставити и увести ефикасну технику која води рачуна о свим потребама и захтевима клијената и великих индустрија које су одговорне за генерисање података . Раније су подаци обрађивали нормалне програмске језике и једноставан структурирани језик упита, али изгледа да ови системи и алати не раде много у случају великих података. Технологија великих података дефинисана је као технологија и софтверски програм који је дизајниран за анализу, обраду и вађење информација из великог скупа изузетно сложене структуре и великих скупова података што је традиционалним системима врло тешко да се баве. Технологија великих података користи се за обраду података у реалном времену и за серије. Машинско учење је постало врло критична компонента свакодневног живота и сваке индустрије и зато управљање подацима путем великих података постаје веома важно.
Врсте технологија великих података
Пре него што започнемо са списком технологија, погледајмо најпре широку класификацију свих тих технологија. Они се углавном могу класификовати у 4 домена.
- Складиштење података
- Аналитика
- Претрага података
- Визуализација
Прво ћемо покрити све технологије које се налазе под кишобраном.
1. Хадооп : Када су у питању велики подаци, Хадооп је прва технологија која се појављује у игри. То се заснива на архитектури смањења мапа и помаже у обради послова везаних за серију и података о групама процеса. Дизајниран је за чување и обраду података у дистрибуираном окружењу за обраду података заједно са робним хардвером и једноставним моделом извршења програмирања. Може се користити за складиштење и анализу података који су присутни у различитим машинама са великом похраном, брзином и ниским трошковима. Ово је једна од главних основних компоненти технологије великих података коју је основала софтверска фондација Апацхе 2011. године и написана је на Јави.
2. МонгоДБ : Друга веома битна и суштинска компонента технологије великих података у погледу складиштења је МонгоДБ НоСКЛ база података. То је НоСКЛ база података што значи да се релацијска својства и остала својства повезана са РДБМС-ом не односе на њу. Разликује се од традиционалних база података РДБМС што користи структурирани језик упита. Користи шеме докумената, а структура складиштења података је такође различита и зато су корисни у задржавању велике количине података. Програм дизајнирања и база података који је оријентисан на више платформи користи програм ЈСОН као и схему. Ово постаје веома користан случај пословања оперативних складишта података у већини финансијских институција и тиме се ради на замјени традиционалних главних оквира. МонгоДБ управља флексибилношћу и такође великом разноврсношћу типова података при великим количинама и међу дистрибуираним архитектурама.
3. Хунк : Корисно је приступити подацима путем удаљених Хадооп кластера тако што користи виртуелне индексе и такође користи Сплунк језик за обраду претраживања који се може користити за анализу података. Преглед се може користити за извештавање и визуелизацију огромних количина података из база података и извора Хадооп и НоСКЛ. Развио га је тим Сплунк 2013. године који је написан на Јави.
4. Цассандра : Цассандра је топ избор међу списком популарних база података НоСКЛ, која је бесплатна и база података отвореног кода, која се дистрибуира и има широку столисну меморију и може ефикасно да обрађује податке на великим робним кластерима, тј. Користи се за пружају високу доступност, без иједне тачке грешке. На листи главних карактеристика налазе се оне попут дистрибуиране природе, скалабилности, механизма толеранције на грешке, подршка МапРедуце, прилагодљива конзистентност, својство језика упита, подржава вишеструко копирање центра података и евентуалну доследност.
Следећи нам омогућава да разговарамо о различитим пољима технологије великих података, тј. Дата Мининг.
5. Престо : То је популарни опен-соурце и СКЛ механизам за дистрибуцију упита који се користи за покретање интерактивних упита на свим изворима података и величине се креће од Гигабајта до Петабајта. Уз његову помоћ можемо претражити податке у Цассандри, Хиве, власничким складиштима података и релацијским системима за похрану података. Ово је механизам за испитивање на бази јаве који је развила фондација Апацхе током 2013. Неколико група компанија које добро користе Престо алат су Нетфлик, Аирбнб, Цхецкр, Репро и фацебоок.
6. ЕластицСеарцх : Ово је данас врло важно средство када је у питању претраживање. Ово чини суштинску компоненту ЕЛК скупа, тј. Еластичну претрагу, Логстасх и Кибану. ЕластицСеарцх је претраживач који се заснива на луценској библиотеци, сличан је Солр-у и користи се за пружање чисто дистрибуираног претраживача са целим текстом који може бити мулти-станар. Садржи листу ЈСОН докумената без схема и ХТТП веб интерфејс. Написана је на језику ЈАВА, а развила га је компанија Еластиц у компанији 2012. Имена неколико компанија које користе еластичну претрагу су: ЛинкедИн, СтацкОверфлов, Нетфлик, фацебоок, гоогле, Аццентуре, итд.
Прочитајмо сада о свим великим технологијама података које су део Анализе података:
7. Апацхе Кафка : Познат по објављивању-претплати или пуб-суб као што је популарно познато, је систем директних порука, асинхрони посредник за размену порука који се користи за гутање и извршавање обраде података у реалном времену стриминг података. Такође пружа одредбу рока задржавања и подаци се могу канализирати помоћу механизма произвођач-потрошач. То је једна од најпопуларнијих платформи за стриминг која је веома слична систему за преношење порука предузећа или реду чекања за поруке. Кафка је до данас покренула многа побољшања, а једна главна врста је она Кафка цонфлуент која пружа додатни ниво својстава Кафки као што су регистар шема, Ктаблес, КСкл, итд. Развила га је софтверска заједница Апацхе током 2011 и је написана на Јави. Компаније које користе ову технологију укључују Твиттер, Спотифи, Нетфлик, Линкедин, Иахоо, итд.
8. Сплунк : Сплунк се користи за снимање, корелацију и индексирање података у току у реалном времену из спремишта које се може претраживати, одакле може да генерише извештаје, графиконе, надзорне табле, упозорења и визуализације података. Такође се користи за безбедност, усаглашавање и управљање апликацијама, а такође и за веб аналитику, генерисање увида у пословање и пословне анализе. Развио га је Сплунк у Питхон-у, КСМЛ, Ајак.
9. Апацхе Спарк : Сада долази најкритичнија и најочекиванија технологија у домену великих података, тј. Апацхе Спарк. Он је вероватно међу онима који су данас најтраженији и за његову обраду користи Јава, Сцала или Питхон. Ово се користи за обраду и обраду података у стриму у стварном времену тако што се користи Спарк Стреаминг који користи батцхинг и прозоре да би се то догодило. Спарк СКЛ користи се за креирање оквира података, скупова података на врху РДД-а и на тај начин пружа добар укус трансформација и акција који чине саставну компоненту Апацхе Спарк Цоре-а. Остале компоненте као што су Спарк Мллиб, Р и грапхКс су такође корисне у случају анализа и машинског учења и науке података. Рачунарска техника у меморији је оно што је разликује од осталих алата и компоненти и подржава широк избор апликација. Развила га је фондација Апацхе Софтваре, првенствено на језику Јава.
10. Р језик : Р је програмски језик и слободно софтверско окружење које се користи за статистичко рачунање и такође за графику на једном од најважнијих језика у Р. То је један од најпопуларнијих језика међу научницима података, рударима података и практичари података за развој статистичког софтвера и углавном за анализу података.
Разговарајмо сада о технологијама које се односе на визуализацију података.
11. Таблеау: То је најбрже и најснажније растуће средство за визуелизацију података које се користи у домену пословне интелигенције. Анализа података је веома брза машина која је могућа уз помоћ Таблеау-а и визуализације су креиране у облику радних листова и надзорних плоча. Развила га је компанија таблеау 2013. године и написана је на Питхон, Ц ++, Јава и Ц. Компаније које користе Таблеау су: КликК, Орацле Хиперион, Цогнос, итд.
12. Дијаграм : Плотли се углавном користи за израду Графова и придружених компонената бржим и ефикаснијим. Има богатији скуп библиотека и АПИ-ја као што су МАТЛАБ, Питхон, Р, Ардуино, Јулиа, итд. То се може интерактивно користити у Јупитер-овој свешци и Пицхарму и може се користити за стил интерактивних графикона. Први пут је развијен 2012. године и написан у јавасцрипт-у. Неколико компанија које користе Плотли су паладини, битбанк итд.
Закључак
У овом посту смо проучавали врхунске технологије великих података које су данас у широкој употреби. Надам се да вам се свидело. Пратите нас за још оваквих постова.
Препоручени чланци
Ово је водич за Биг Дата Тецхнологиес. Овде смо разговарали о уводу и типовима великих података. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Шта је алат Сплунк?
- Р вс Питхон
- Шта је Матлаб?
- Шта је МонгоДБ?
- Кораци које треба следити у тестирању главног оквира
- Врсте придруживања у Спарк СКЛ-у (примери)
- Научите различите врсте алата Кафка