Увод у велику архитектуру података
Када је у питању управљање тешким подацима и обављање сложених операција на тим огромним подацима, јавља се потреба за коришћењем великих алата и техника. Када кажемо да користимо велике алате и технике података, заправо мислимо да тражимо да се користимо разним софтвером и поступцима који се налазе у екосистему великих података и његовој сфери. Не постоји генеричко решење које се обезбеђује за сваки случај употребе и због тога га треба израдити на ефикасан начин у складу са пословним захтевима одређене компаније. Стога постоји потреба за коришћењем различитих архитектура великих података јер ће комбинација различитих технологија резултирати постизањем резултирајућег случаја употребе. Успостављањем фиксне архитектуре може се осигурати одрживо решење за тражени случај употребе.
Шта је велика архитектура података?
- Ова архитектура је осмишљена на начин да управља процесом гутања, врши се обрада података и анализа података што је превелика или сложена за руковање традиционалним системима за управљање базама података.
- Различите организације имају различите прагове за своје организације, неке их имају за неколико стотина гигабајта, док за друге чак и неки терабајти нису довољно добри.
- Због тога што се овај догађај дешава ако погледате робне системе и робну складиште, вредности и трошкови складиштења су значајно смањени. Постоји огромно мноштво података који захтевају различите начине задовољења.
- Неки од њих су подаци везани за серију који долазе у одређено време, па је потребно да се послови закажу на сличан начин, док неки други припадају класи струјања у којој се мора изградити цевовод за струјање у реалном времену да би се задовољиле све захтеви. Све ове изазове решава велика архитектура података.
Објашњење велике архитектуре података:
Системи великих података укључују више врста посла и они су широко класификовани како слиједи:
- Ако су извори засновани на великим подацима у стању мировања, укључена је серијска обрада.
- Велика обрада података у покрету за обраду у стварном времену.
- Истраживање интерактивних алата и технологија великих података.
- Машинско учење и предиктивне анализе.
1. Извори података
Извори података укључују све оне златне изворе од којих је изграђен нафтовод за вађење података, па се стога може рећи да је почетна тачка великог цевовода за податке.
Примери укључују:
(и) Датасторес апликација попут оних као што су релацијске базе података
(ии) Датотеке које се производе у великом броју апликација и углавном су део статичких датотечних система као што су датотеке са сервером заснованим на веб локацији који стварају записнике.
(иии) ИоТ уређаји и други извори података засновани на реалном времену.
2. Складиштење података
Ово укључује податке којима се управља за скупно грађене операције и чувају се у спремиштима датотека које се дистрибуирају у природи и могу садржати велике количине великих датотека подржаних у различитим форматима. Зове се језеро података. То генерално чини део у коме се обезбеђују наше Хадооп складиште као што су ХДФС, Мицрософт Азуре, АВС, ГЦП складишта заједно са контејнерима са блоб-ом.
3. Серијска обрада
Сви подаци се раздвајају у различите категорије или комаде, што користи дуготрајне задатке који се користе за филтрирање и обједињавање, а такође припремају податке о обрађеном стању за анализу. Ови послови обично користе изворе, обрађују их и пружају излаз обрађених датотека новим датотекама. Пакетна обрада се врши на различите начине коришћењем послова Хиве или У-СКЛ заснованих послова или употребом Скооп-а или Пиг-а заједно са прилагођеним пословима редуктора мапа који се обично пишу у било којем од Јава или Сцала или било којим другим језик као што је Питхон.
4. Гутање поруке засновано на стварном времену
То укључује, за разлику од серијске обраде, све оне системе стриминга у стварном времену, који служе подацима који се генеришу редоследно и у фиксном обрасцу. То је често једноставна марка података или продавница која је одговорна за све долазне поруке које се убаце у мапу која се нужно користи за обраду података. Међутим, постоји већина решења која захтевају потребу продавнице за гутање засновану на порукама која делује као бафер порука и такође подржава обраду засновану на скали, пружа релативно поуздану испоруку заједно са осталим семантичким редоследом слања порука. Опције укључују оне попут Апацхе Кафка, Апацхе Флуме, чворишта за догађаје из Азуре, итд.
5. Стреам Процессинг
Постоји мала разлика између усвајања порука у реалном времену и обраде протока. Први узима у обзир примљене податке који се прво прикупљају, а затим се користе као алат за објављивање претплате. С друге стране, обрадба струје користи се за обраду свих оних стреаминга података који се појављују у прозорима или токовима, а затим податке записује у излазни судопер. Ово укључује Апацхе Спарк, Апацхе Флинк, Сторм итд.
6. Складиште података на бази аналитике
Ово је складиште података које се користи у аналитичке сврхе и зато се већ обрађени подаци претражују и анализирају коришћењем аналитичких алата који могу одговарати БИ решењима. Подаци се могу представити и помоћу НоСКЛ технологије складишта података попут ХБасе или било које интерактивне употребе базе кошница која може пружити апстракцију метаподатака у складишту података. Алат укључује Хиве, Спарк СКЛ, Хбасе итд.
7. Извештавање и анализа
Увиди се морају генерирати на обрађеним подацима и то ефективно чине алати за извјештавање и анализу који користе њихову уграђену технологију и рјешење за стварање корисних графова, анализа и увида који су од користи предузећима. Алат укључује Цогнос, Хиперион, итд.
8. Оркестрација
Велика рјешења заснована на подацима састоје се од операција у вези с подацима које се понављају по природи, а такођер су инкапсулиране у радним токовима који могу трансформирати изворне податке, а такођер премјештати податке кроз изворе као и судопере и учитавати у трговинама и гурати у аналитичке јединице. Примери укључују Скооп, оозие, фабрику података итд.
Закључак
У овом посту читамо о великој архитектури података која је неопходна да би се те технологије имплементирале у компанију или организацију. Надам се да вам се свидео наш чланак.
Препоручени чланци
Ово је водич за велику архитектуру података. Овде разговарамо о томе шта је велики податак? и такође смо објаснили архитектуру великих података заједно са блок дијаграмом. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Биг Дата Тецхнологиес
- Биг Дата Аналитицс
- Каријере у великим подацима
- Биг Дата питања за интервју
- Топ 8 уређаја ИоТ које бисте требали знати
- Врсте придруживања у Спарк СКЛ-у (примери)