Увод у АВС Дата Пипелине
Подаци из дана у дан расту експоненцијално и постају тешки за управљање у поређењу с прошлошћу. Потребни су нам алати и услуге да бисмо ефикасно и по повољнијим ценама управљали нашим подацима, ту имамо на уму АВС Дата Пипелине. Не ради се само о складиштењу података, већ морате анализирати, обрађивати, трансформисати податке у жељени образац на истом месту, то се све може постићи помоћу АВС Дата Пипелине-а.
Потреба за цјевоводом података
Покушајмо да разумемо потребу за цјевоводом података на примјеру:
Пример # 1
Имамо веб локацију која приказује слике и гифове на основу корисничких претрага или филтера. Наш примарни фокус је на послуживању садржаја. Постоје одређени циљеви који су следећи: -
- Побољшање испоруке садржаја: послуживање оног што корисници желе ефикасно и довољно брзо.
- Ефикасно управљање апликацијом: Спремање корисничких података као и дневника веб локација за касније аналитичке сврхе.
- Побољшајте посао: Кориштењем похрањених података и аналитике доноси одлуку о унапређењу пословања по повољнијим цијенама.
Пример бр. 2
За постизање циљева треба водити рачуна о одређеним флашицама:
- Огромна количина података у различитим форматима и на различитим местима, што чини обраду, складиштење и миграцију података сложеним задатком.
Различите компоненте за складиштење података за различите врсте података:
- Могући подаци у стварном времену за регистроване кориснике: Динамо ДБ .
- Дневници веб сервера за потенцијалне кориснике: Амазон С3 .
- Демографски подаци и вјеродајнице за пријаву: Амазон РДС.
- Подаци о сензорима и подаци трећих страна: Амазон С3.
Решења
- Изводљиво решење: Видимо да морамо да се бавимо различитим врстама алата за претварање података из неструктурираних у структуриране за анализу. Овде морамо да користимо различите алате за складиштење података и опет за претварање, анализу и чување обрађених података. Није економично решење.
- Оптимално решење: користите проток података који обрађује обраду, визуализацију и миграцију. Цевовод података може бити користан за миграцију података из различитих места, такође за анализу података и обраду на истој локацији у ваше име.
Шта је АВС Дата Пипелине?
АВС Дата Пипелине је у основи веб услуга коју нуди Амазон која вам помаже да трансформишете, обрадите и анализирате своје податке на скалабилан и поуздан начин као и да похраните обрађене податке у С3, ДинамоДб или у локалну базу података.
- Са АВС Дата Пипелине-ом можете лако приступити подацима из различитих извора.
- Трансформишите и обрадујте те податке у скали.
- Ефикасно пренесите резултате на друге услуге као што су С3, ДинамоДб табела или локална продавница података.
Основни пример употребе цјевовода за податке
- Могли бисмо имати веб локацију распоређену преко ЕЦ2 која генерира дневнике сваки дан.
- Једноставним дневним задатком могу се копирати датотеке дневника са Е2 и остварити их у С3 канти.
- Седмични задатак би могао бити обрада података и покретање анализе података путем Амазон ЕМР ради генерирања седмичних извјештаја на основу свих прикупљених података.
Покретање анализе података помоћу АВС Дата Пипелине-а
- Прикупљање података из различитих извора података као што су - С3, Динамодб, локално, сензорски подаци итд.
- Извођење трансформације, обраде и аналитике на АВС ЕМР ради генерисања недељних извештаја.
- Седмични извештај сачуван у Редсхифт-у, С3 или локалној бази података.
Предности АВС Дата Пипелине-а
Испод бодова објашњавају предности АВС Дата Пипелине-а:
- Превуците и испустите конзолу коју је лако разумети и користити.
- Дистрибуирана и поуздана инфраструктура: Цевоводи података раде на скалабилним сервисима и поуздани су ако било која грешка или задатак не успе, па може да се постави за поновни покушај.
- Подржава заказивање и праћење грешака: Можете заказати своје задатке и пратити им шта је успело и успело.
- Дистрибуирано: Може се покретати паралелно на више машина или линеарно.
- Потпуна контрола над рачунарским ресурсима попут ЕЦ2, ЕМР кластера.
АВС компоненте цевовода података
Испод су компоненте АВС Дата Пипелине-а:
1. Дефиниција цевовода
Претворите своју пословну логику у АВС Дата Пипелине.
- Чворови података : садржи име, локацију, формат извора података који би могао бити (С3, динамодб, локално)
- Активности : Премјештање, преобликовање или извршавање упита на вашим подацима.
- Распоред : Закажите дневне или недељне активности.
- Предуслов : Услови попут покретања планера провјеравају доступност података на извору.
- Ресурси : Рачунати ресурсе ЕЦ2, ЕМР.
- Акције : Ажурирање података о цјевоводу података, слање обавијести, активирање аларма.
2. Цевоводи
Овде можете заказати и покренути задатке за обављање дефинисаних активности.
- Цјевоводи Ц цјевовода: Компоненте цјевовода су исте као и компоненте дефиниције Пипелине.
- Примјери: Док изводи задатке, АВС компилира све компоненте да би створио одређене дјелотворне инстанце. Такви случајеви имају све информације о специфичним задацима.
- Покушаји: Већ смо разговарали о томе колико је Дата Пипелине поуздан са својим механизмима за покушај. Овде постављате колико пута желите да покушате поново у случају да не успе.
3. Руннер задатака
Пита или анкете за задатке из АВС Дата Пипелине-а, а затим извршава те задатке.
АВС цене цевовода за податке
Испод тачке објашњавају цене АВС Дата нафтовода:
1. Бесплатни ниво
Можете почети бесплатно са АВС Дата Пипелине-ом као део АВС-овог бесплатног нивоа употребе. Нови купци који се пријављују добијају сваког месеца бесплатне повољности у току једне године:
- 3 Предуслови рада на ниским фреквенцијама на АВС-у без икаквог набоја.
- 5 Активности нискофреквентних трчања на АВС без икаквог набоја.
2. Ниска фреквенција
Ниска фреквенција подразумева се извођење једном у дану или краће. Дата Пипелине следи исту стратегију наплате као и друге АВС веб услуге тј. Наплаћују се на вашој употреби. Наплаћује се колико често се ваши задаци, активности и предуслови свакодневно изводе и где се врше (АВС или локално). Планиране су високофреквентне активности које се изводе више од једном дневно.
Пример: Можемо заказати неку активност која ће се изводити сваког сата и обрадити записнике веб локација или то може бити сваких 12 сати. Док су нискофреквентне активности оне које се изводе једном дневно или рјеђе ако предуслови нису испуњени. Неактивни цјевоводи имају или НЕАКТИВНО, НАЛАЗИ и ЗАВРШЕНО.
3. Цијене АВС података за цјевовод података приказане су регије
Регија бр. 1: Источни САД (Н.Виргиниа), Западни САД (Орегон), Азијски Пацифик (Сиднеј), ЕУ (Ирска)
| Висока фреквенција | Ниска фреквенција | |
| Активности или предуслови који се покрећу преко АВС-а | 1, 00 УСД месечно | 0.06 УСД месечно |
| Активности или предуслови који се изводе на локалном нивоу | 2, 50 УСД месечно | 1, 50 УСД месечно |
| Неактивни цевоводи: 1, 00 УСД месечно |
Регија бр. 2: Азијско-пацифички (Токио)
| Висока фреквенција | Ниска фреквенција | |
| Активности или предуслови који се покрећу преко АВС-а | 0.9524 УСД месечно | $ 0, 5715 месечно |
| Активности или предуслови који се изводе на локалном нивоу | 2.381 УСД месечно | 1.4286 УСД месечно |
| Неактивни цевоводи: 0, 9524 УСД месечно |
Цевовод који би свакодневни посао, тј. Активност ниских фреквенција на АВС-у за пребацивање података из ДинамоДБ табеле у Амазон С3, коштао би 0, 60 долара месечно. Ако додамо ЕЦ2 за израду извештаја заснованог на подацима Амазон С3, укупни трошкови цевовода износили би 1, 20 УСД месечно. Ако ову активност изводимо сваких 6 сати коштала би 2, 00 УСД месечно, јер би то била високофреквентна активност.
Закључак
АВС Дата Пипелине је веома практично решење за управљање експоненцијално растућим подацима по нижим ценама. Веома је поуздан и скалабилан у складу са вашом употребом. За све пословне потребе у којима се бави велика количина података, АВС Дата Пипелине је врло добар избор за достизање свих наших пословних циљева.
Препоручени чланци
Ово је водич за АВС Дата Пипелине. Овдје разговарамо о потребама цјевовода за податке, шта је АВС цјевовод података, његов саставни дио и детаљи о цијенама. Можете и да прођете кроз остале сродне чланке да бисте сазнали више -
- АВС ЕБС
- АВС базе података
- Шта је АВС ЕЦ2?
- Предности визуелизације података
- Топ 7 натјецатеља АВС са карактеристикама
- Сазнајте листу функција Амазон веб услуга