Увод у АВС ЕМР
АВС ЕМР пружа много функција које нам олакшавају, неке од технологија су:
- Амазон ЕЦ2
- Амазон РДС
- Амазон С3
- Амазон ЦлоудФронт
- Амазонско аутоматско скалирање
- Амазон Ламбда
- Амазон Редсхифт
- Амазон Еластиц МапРедуце (ЕМР)
Једна од главних услуга које пружа АВС ЕМР и којом ћемо се бавити је Амазон ЕМР.
ЕМР обично назван Еластиц Мап Редуце долази са једноставним и приступачним начином за обраду већих делова података. Замислите велики сценариј података где имамо огромну количину података и вршимо скуп операција над њима, рецимо да се покреће посао Мап Мап (Смањење мапе), једно од главних проблема са којима се суочава Бигдата апликација је подешавање програма, често је тешко прецизирати наш програм на такав начин да се сав додељени ресурс правилно потроши. Због овог горе наведеног фактора подешавања, време потребно за обраду постепено расте. Еластична мапа Смањите сервис компаније Амазон, веб услуга која пружа оквир који управља свим овим потребним функцијама потребним за велику обраду података на економичан, брз и сигуран начин. Од стварања кластера до дистрибуције података на разним инстанцама, све ове ствари се лако управљају помоћу Амазон ЕМР. Овде су услуге на захтев значи да можемо контролисати бројеве на основу података које имамо, што је ако је исплативо и скалабилно.
Разлози за коришћење АВС ЕМР
Зашто користити АМР оно што га чини бољим од других. Често се сусрећемо са основним проблемом где нисмо у могућности да доделимо све ресурсе доступне преко кластера ниједној апликацији, АМАЗОН ЕМР води рачуна о овим проблемима и на основу величине података и потражње апликације која додељује потребан ресурс. Такође, пошто смо еластични у природи, можемо је у складу са тим и променити. ЕМР има огромну подршку за апликације било да је то Хадооп, Спарк, ХБасе који олакшава обраду података. Подржава различите ЕТЛ операције брзо и економично. Може се користити и за МЛИБ у Спарк-у. У њему се могу изводити различити алгоритми машинског учења. Било да се ради о скупним подацима или струјању података у реалном времену ЕМР је у стању да организује и обрађује обе врсте података.
Рад АВС ЕМР
Сада ћемо да видимо овај дијаграм кластера Амазон ЕМР и покушаћемо да разумемо како он заправо делује:
Следећи дијаграм приказује кластерску дистрибуцију унутар ЕМР-а. Хајде да проверимо детаље:
1. Кластери су централна компонента Амазонове ЕМР архитектуре. Они су збирка ЕЦ2 инстанци названих Чворови. Сваки чвор има своје посебне улоге у кластеру назване тип чвора и на основу њихових улога можемо их класификовати у 3 типа:
- Главни чвор
- Цоре Ноде
- Задатак чвор
2. Главни чвор као што име сугерира је мастер који је одговоран за управљање кластером, покретање компоненти и дистрибуцију података преко чворова за обраду. Само прати да ли је све правилно управљано и ради ли у реду и да ли функционише у случају квара.
3. Цоре Ноде је одговоран за извршавање задатка и спремање података у ХДФС у кластер. Све дијелове за обраду рукује језгром језгре, а подаци након те обраде постављају се на жељену ХДФС локацију.
4. Задатак чвор је необавезан само за извршавање задатка који не спрема податке у ХДФС.
5. Кад год након подношења посла имамо неколико метода за одабир начина на који се радови морају завршити. Будући да је то од престанка кластера након завршетка посла до дуготрајног кластера помоћу ЕМР конзоле и ЦЛИ-а за подношење корака, имамо сву привилегију да то учинимо.
6. Ми можемо директно покренути посао на ЕМР-у тако што ћемо га повезати с главним чвором путем расположивих интерфејса и алата који обављају задатке директно на кластеру.
7. Такође можемо да покренемо своје податке у различитим корацима уз помоћ ЕМР-а, све што морамо да урадимо је да поднесемо један или више наручених корака у ЕМР кластеру. Подаци се чувају у облику датотеке и обрађују се на редни начин. Полазећи од „Стање на чекању до довршеног стања“ можемо пратити кораке обраде и пронаћи грешке, такође и од „Неуспело отказивање“, сви ови кораци се лако могу вратити у то.
8. Једном када се сва инстанца укине, постиже се завршено стање кластера.
Архитектура за АВС ЕМР
ЕМР архитектура се уводи почевши од дела за складиштење до дела апликације.
- Први слој долази са меморијским слојем који укључује различите датотеке датотека које се користе у нашем кластеру. Било да је од ХДФС-а до ЕМРФС-а до локалног датотечног система, сви се они користе за складиштење података у целој апликацији. Склапање интермедијарних резултата током МапРедуце обраде може се постићи помоћу ових технологија које долазе са ЕМР.
- Други слој долази са Управљањем ресурсима за кластер, овај слој је одговоран за управљање ресурсима за кластере и чворове преко апликације. Ово у основи помаже као алате за управљање који помажу равномерној дистрибуцији података по кластеру и правилном управљању. Подразумевани алат за управљање ресурсима који ЕМР користи је ИАРН који је уведен у Апацхе Хадооп 2.0. Централно управља ресурсима за вишеструке оквире за обраду података. Он води рачуна о свим информацијама које су потребне за добро кластера, од здравља чворова до дистрибуције ресурса помоћу управљања меморијом.
- Трећи слој долази са Оквиром за обраду података, овај слој је одговоран за анализу и обраду података. постоји много оквира подржаних од стране ЕМР-а који игра важну улогу у паралелној и ефикасној обради података. Неки од оквира које подржава и којих смо свесни је АПАЦХЕ ХАДООП, СПАРК, СПАРК СТРЕАМИНГ итд.
- Четврти слој се састоји од апликације и програма као што су ХИВЕ, ПИГ, библиотека за стриминг, МЛ алгоритми који су корисни за обраду и управљање великим скупима података.
Предности АВС ЕМР
Проверите сада неке од предности коришћења ЕМР:
- Велика брзина: Будући да се сви ресурси правилно користе, време обраде за упит је релативно брже од осталих алата за обраду података имају много јасну слику.
- Скупна обрада података: Већа величина података ЕМР има могућност за обраду огромне количине података у довољно времена.
- Минимални губитак података: Будући да се подаци дистрибуирају преко кластера и паралелно обрађују путем мреже, постоји минимална шанса за губитак података и добро, брзина тачности обрађених података је боља.
- Исплативо: што је исплативије, јефтиније је од било које друге доступне алтернативе која га чини јаким у односу на индустријску употребу. Пошто су цене мање, можемо да прихватимо велике количине података и да их можемо обрадити у оквиру буџета.
- АВС Интегратед: Интегриран је са свим услугама АВС-а што олакшава доступност под кровом, тако да су сигурност, складиштење, умрежавање све интегрисани на једном мјесту.
- Сигурност: Долази са невероватном Безбедносном групом која контролише улазни и одлазни саобраћај, а употреба ИАМ улога чини га сигурнијим, јер долази до различитих дозвола која чине податке безбедним.
- Надгледање и размештање: имамо одговарајуће алате за надгледање за све апликације које раде преко ЕМР кластера, што га чини прегледним и лаким за део анализе, а долази и са функцијом аутоматске примене где се апликација аутоматски конфигурише и размешта.
Много је више предности ЕМР-а као бољег избора друге методе рачунања кластера.
АВС ЕМР цене
ЕМР долази са невероватним ценовним списком који привлачи програмере или тржиште ка њему. Будући да долази са функцијом одређивања цена на захтев, можемо је користити нешто више од сат времена и број чворова у нашем кластеру. Можемо платити стопу у секунди за сваку секунду коју користимо са минимумом једне минуте. Такође можемо да одаберемо да се наши примери користе као резервисане инстанце или тачке за спот, при чему место значајно штеди.
Укупни рачун можемо израчунати помоћу једноставног месечног калкулатора са доње везе: -
хттпс://цалцулатор.с3.амазонавс.цом/индек.хтмл#с=ЕМР
За више детаља о тачним детаљима цена можете да погледате докумената доле од стране компаније Амазон: -
хттпс://авс.амазон.цом/емр/прицинг/
Закључак
Из горњег чланка смо видели како се ЕМР може користити за фер обраду великих података са свим ресурсима који се конвенционално користе.
Пошто ЕМР решава наш основни проблем обраде података и смањује много времена за обраду за добар број, јер је економичан и једноставан за употребу.
Препоручени чланак
Ово је водич за АВС ЕМР. Овде смо расправљали о уводу у АВС ЕМР заједно са његовим Радом и Архитектуром, као и Предности. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- АВС алтернативе
- АВС команде
- АВС Сервицес
- АВС питања за интервју
- Услуге складиштења АВС-а
- Топ 7 такмичара на АВС-у
- Списак функција Амазон веб услуга