Разлике између складишта података и Хадоопа
У свакој деценији, ИТ индустрија доживљава велику иновацију која потреса целу ИТ индустрију. Последњих година Апацхе Хадооп је учинио исто што је инфузирао дата центре новом инфраструктуром
Давањем снаге паралелне обраде програмеру Хадооп је на таквом експоненцијалном успону усвајања и његов екосустав се шири у дубини и ширини, природно је питати се хоће ли Хадооп заменити традиционални Дата Варехоусе.
Да видимо шта је Аласдаир Андерсон (извршни потпредседник у Нордеи) рекао на самиту у Хадоопу о овој врућој теми у граду.
„Тренутно нема везе између ЕДВ-а и Хадоопа - они ће се надопуњавати. НЕ ради се о рипању и заменама: нећемо се решавати РДБМС-а или МПП-а, већ ћемо уместо тога користити прави алат за прави посао - и то ће у великој мери бити под утицајем цене. “
Кад год ова занимљива расправа започне, на памет нам падају многа питања као што су:
1) Ако имате велике податке, треба ли вам складиште података?
2) Да ли ће Хадооп заменити складиште података?
3) Да ли је ово смрт традиционалне ере складишта података?
Да бисмо знали одговоре на сва ова питања потребно је да размотримо шири контекст ове слике.
1. Шта је Хадооп?
Ко у последње време није чуо за Биг Дата? Са стотинама терабајта података који се свакодневно генеришу из различитих извора, јасно је да је данашњи модерни свет свет великих података
Када почнете да говорите о Биг Дата-у пре или касније започињете разговор о најтоплијој теми света великих података: Хадооп - али шта је то заправо?
Хадооп је опен-соурце, програмски оквир заснован на Јави који подржава обраду и складиштење изузетно великих скупова података у дистрибуираном рачунарском окружењу.
Четири модула компаније Хадооп -
Хадооп се састоји од 4 модула -
- Дистрибуирани датотечни систем
Дистрибуирани систем датотека омогућава чување података у лако доступном формату на великом броју повезаних уређаја за складиштење података.
- Карта смањити
Смањивање мапе је комбинација две операције - читање података из базе података и њихово стављање у формат погодан за анализу (пресликавање) и извођење математичких операција (смањење).
- Хадооп Цоммон
Хадооп Цоммон нуди алате потребне за податке похрањене у ХДФС (Хадооп Дистрибутед Филе Систем)
- ПРЕЖИ
ИАРН управља ресурсима система који чувају податке и покреће анализу.
2. Шта је складиште података?
Складиште података је релациона база података која је дизајнирана за упите и анализе података. Обично садржи историјске податке добијене из различитих извора.
Окружење складишта података укључује ЕТЛ решења, механизам за мрежну аналитичку обраду (ОЛАП), алате за анализу клијената и друге апликације које управљају процесом анализе података и достављањем их пословним корисницима.
Да сумирамо шта је складиште података -
-
Предметно оријентисан
Складиште података може се користити за анализу одређеног подручја попут продаје, финансија и залиха. Свака предметна област садржи детаљне податке.
-
Интегрисано
Складиште података интегрише податке из више извора података. На пример, датуми су у истом формату, кодови мушки / женски су конзистентни. У складишту података постојат ће само један начин идентификације производа и они користе исти запис о купцу, а не копије
-
Неиспарљиви
Подаци се чувају у складишту података непромењени и неће се мењати. Дакле, историјске податке у складишту података никада не треба мењати.
-
Временска варијанта
подаци се могу преузети из 3 месеца, 6 месеци, 12 месеци, или чак и старији подаци из складишта података.
-
Није виртуелно
Складиште података је физичко, постојано спремиште.
Складиште података вс Хадооп (Инфограпхицс)
Испод је топ 6 упоређивања Дата Варехоусе-а и Хадооп-а 
Складиште података вс Хадооп - Кога треба користити?
- Ако имате чисте, конзистентне и висококвалитетне податке, тада би требало да потражите складиште података јер Хадооп-у недостаје квалитет података у неким од његових решења.
- Ако имате сирове неструктуриране податке, тада бисте требали кренути за Хадооп, јер Хадооп добро функционира са неструктурираним / сировим подацима, али Дата Варехоусе ради само са структурираним подацима.
- У случају слабих и интерактивних извештаја, требало би да потражите складиште података
- За ОЛТП / Реал-тиме / Поинт упите требали бисте потражити складиште података јер Хадооп добро функционира са пакетним подацима.
- За велике скупове података за велике количине података требало би да потражите Хадооп јер је Хадооп дизајниран за решавање великих података.
Табела упоређивања података између складишта података и Хадоопа
Испод је тачка која описује поређења између складишта података и Хадоопа
| Основе за поређење | Складиште података | Хадооп |
| Подаци | У складишту података анализирамо структуриране и обрађене податке | У Хадоопу можемо да обрађујемо било коју врсту података, укључујући структуриране / неструктуриране / полуструктуриране и необрађене |
| Обрада | Његова обрада је заснована на концептима писања на схеми | Његова обрада заснива се на концептима-на-очитавању шема |
| Складиште | Погодно за податке малог волумена и прескупо за велике количине података | Одлично функционира са великим скуповима података који имају огромну количину, брзину и разноликост |
| Окретност | Мање је окретна и фиксне конфигурације | Изузетно је спретан, конфигурише и конфигурише по потреби |
| Сигурност | Технологије складишта података постоје већ деценијама. Стога се у погледу сигурности можемо ослонити на Дата Варехоусе | Иако су Хадооп технологије релативно нове у поређењу са Дата Варехоусе-ом, сигурност овде је велика брига |
| Корисници | Пословни професионалци обично користе складиште података | Хадооп је прилично познат у области науке о подацима и инжењерству података |
Закључак - Складиште података вс Хадооп
Сада знамо за Дата Варехоусе и Хадооп, вратимо се натраг и испитамо питање које смо поставили на почетку овог чланка Дата Варехоусе и Хадооп -
1) ако имате велике податке, треба ли вам складиште података?
Одговор - све док вашој организацији требају поуздани, веродостојни и доступни подаци, тада вам је потребно и складиште података.
2) Да ли ће Хадооп заменити складиште података?
Одговор - Упоређивање складишта података са Хадооп-ом је попут упоређивања јабука и наранчи. И складиште података и Хадооп имају своје предности у различитим сценаријима употребе. У неким случајевима и даље овисимо о традиционалним техникама складиштења података, али како се вријеме мијења, више се фокусирамо на Хадооп Фрамеворк за рјешавање проблема с великим подацима.
3) Да ли је ово смрт традиционалне ере складишта података?
Одговор - Као што видите, ово у ствари није једноставно питање и зато није добро подложно једноставном одговору. Истина је да ће велики подаци променити традиционални приступ складиштењу података у наредних неколико година, али то неће застарити концепте и праксу складиштења података.
Препоручени чланак
Ово је користан водич за Дата Варехоусе вс Хадооп, овде смо разговарали о њиховом значењу, поређењу, кључној разлици и закључку. Такође можете погледати следећи чланак да бисте сазнали више -
- Хадооп вс Сплунк - пронађите најбоље 7 разлике
- Хадооп вс Еластицсеарцх - Који је кориснији
- Биг Дата вс Дата Варехоусе - сазнајте најбоље разлике
- Бусинесс Интеллигенце вс складиште података
- Сплунк вс Нагиос