Шта је АВС Кинесис?
Кинесис је платформа која помаже у прикупљању, обради и анализирању података у стриму у Амазон Веб Сервицес. Подаци за стриминг су велика количина података који се рађају из различитих извора, као што су друштвени медији, ИоТ сензори, временска прогноза, здравствена заштита, итд. Они се користе у изради апликација на основу захтева корисника. Неке од уобичајених апликација укључују предиктивну аналитику у великим подацима, машинском учењу итд. У овој ћемо теми сазнати више о АВС Кинесис-у.
АВС Кинесис Сервицес
Пре него што пређемо на услуге, прво да разумемо неке терминологије које се користе у Кинесису.
Терминологија
| Терм | Дефиниција |
| Дата Рецорд | Податковна јединица сачувана у протоку података Кинесис. Састоји се од блок података, редоследног броја и кључа партиције |
| Схард | Скуп редоследа записа података. Број комада се може повећати или смањити ако се повећава брзина података. |
| Период задржавања | Временски период у којем се подацима може приступити након што се додају у ток.
Задано задржавање: 24 сата |
| Продуцент | Уноси податке у Кинесис Стреам |
| Потрошач | Добија записе из Кинесис Стреам-а и обрађује их. |
Кинесис пружа 3 основне услуге. Су:
1. Кинезијски токови
Кинесис стреам се састоји од низа низа записа података познати као Схардс. Ови Схардс имају фиксни капацитет који може пружити максималну брзину читања од 2 МБ / сецонд и брзину писања од 1 МБ / сецонд. Максимални капацитет тока је збир капацитета сваког оштрице.
Рад Кинесис:
- Подаци које производи ИоТ и други извори који су познати као Произвођачи убацују се у Кинесис токове за складиштење у Схардс.
- Ови подаци ће у Схарду бити доступни највише 24 сата.
- Ако треба да се чува дуже од овог подразумеваног времена, корисник може да се повећа на време задржавања од 7 дана.
- Након што подаци стигну до Схардс-а, инстанце ЕЦ2 могу их узети у различите сврхе.
- Примјери ЕЦ2 који дохваћају податке познати су као Потрошачи.
- Након обраде података, он се шаље у једну од Амазонових Веб услуга као што су Симпле Стораге Сервице (С3), ДинамоДБ, Редсхифт итд.
2. Кинесис Фирехосе
Кинесис Фирехосе је корисна за пребацивање података на Амазонове веб сервисе као што су Редсхифт, Симпле стораге сервице, Еластиц Сеарцх итд. То је део платформе за стриминг који не управља никаквим ресурсима. Произвођачи података конфигурирани су тако да се подаци морају послати Кинесис Фирехосе и они ће га аутоматски послати одговарајућем одредишту.
Рад Кинесис Фирехосе:
- Као што је споменуто у раду АВС Кинесис Стреамс, Кинесис Фирехосе такође добија податке произвођача као што су мобилни телефони, лаптопи, ЕЦ2, итд. Али, то не мора узимати податке у комадиће или повећавати периоде задржавања као Кинесис Стреамс. То је зато што Кинесис Фирехосе то ради аутоматски.
- Подаци се затим аутоматски анализирају и шаљу у Симпле Стораге Сервице
- Пошто не постоји временски период задржавања, подаци се морају анализирати или послати у било које складиште зависи од потребе корисника.
- Ако се подаци морају послати Редсхифт-у, они морају бити прво премештени у Симпле Стораге Сервице и потребно је копирати од Редсхифт-а.
- Али, у случају еластичне претраге, подаци се могу директно у њега уносити слично услузи Симпле Стораге Сервице.
3. Кинесис Аналитицс
Кинесис Фирехосе дозвољава покретање СКЛ упита у подацима који су присутни у Кинесис Фирехосе. Користећи ове СКЛ упите, подаци се могу чувати у Редсхифт-у, Симпле Стораге Сервице, ЕластицСеарцх итд.
АВС Кинесис Арцхитецтуре
АВС Кинесис Арцхитецтуре се састоји од
- Произвођачи
- Схардс
- Потрошачи
- Складиште
Слично раду описаном у АВС Кинесис Дата Стреаму, подаци произвођача се уносе у Схардс гдје се подаци обрађују и анализирају. Анализирани подаци се затим премештају у ЕЦ2 инстанце за обављање одређених апликација. Коначно, подаци ће бити сачувани у било којој од Амазонових веб услуга као што су С3, Редсхифт итд.
Како се користе АВС кинези?
Да бисте радили са АВС Кинесис, потребно је урадити следећа два корака.
1. Инсталирајте АВС интерфејс наредбеног ретка (ЦЛИ).
Инсталација интерфејса командне линије је различита за различите оперативне системе. Дакле, инсталирајте ЦЛИ на основу вашег оперативног система.
За Линук кориснике користите наредбу судо пип инсталл АВС ЦЛИ
Проверите да ли имате верзију питхона 2.6.5 или новије. Након преузимања, конфигуришите је помоћу АВС наредбе за подешавање. Затим ће бити упитани следећи детаљи као што је приказано у наставку.
AWS Access Key ID (None): #########################
AWS Secret Access Key (None): #########################
Default region name (None): ##################
Default output format (None): ###########
За кориснике Виндовса, преузмите одговарајући МСИ Инсталлер и покрените га.
2. Извршите Кинесис операције користећи ЦЛИ
Имајте на уму да Кинесис протоци података нису доступни за АВС бесплатни ниво. Дакле, креирани Кинесис токови ће се наплаћивати.
Сада да видимо неке кинези операције у ЦЛИ-у.
- Креирајте ток
Направите ток КСтреам са Схард цоунт 2 помоћу следеће наредбе.
aws kinesis create-stream --stream-name KStream --shard-count 2
Проверите да ли је ток креиран.
aws kinesis describe-stream --stream-name KStream
Ако се креира, појавиће се резултат сличан следећем примеру.
(
"StreamDescription": (
"StreamStatus": "ACTIVE",
"StreamName": " KStream ",
"StreamARN": ####################,
"Shards": (
(
"ShardId": #################,
"HashKeyRange": (
"EndingHashKey": ###################,
"StartingHashKey": "0"
),
"SequenceNumberRange": (
"StartingSequenceNumber": "###################"
)
)
) )
)
- Ставите запис
Сада се запис података може уметнути помоћу команде пут-рецорд. Овде се у ток убацује запис који садржи тест података.
aws kinesis put-record --stream-name KStream --partition-key 456 --data test
Ако је уметање успешно, излаз ће бити приказан као што је приказано у наставку.
(
"ShardId": "#############",
"SequenceNumber": "##################"
)
- Гет Рецорд
Прво, корисник мора набавити итератор омбре који представља положај тока за осе.
aws kinesis get-shard-iterator --shard-id shardId-########## --shard-iterator-type TRIM_HORIZON --stream-name KStream
Затим покрените наредбу користећи добијени итератор омбре.
aws kinesis get-records --shard-iterator ###########
Добиће се узорак резултата као што је приказано испод.
(
"Records":( (
"Data":"######",
"PartitionKey":"456”,
"ApproximateArrivalTimestamp": 1.441215410867E9,
"SequenceNumber":"##########"
) ),
"MillisBehindLatest":24000,
"NextShardIterator":"#######"
)
- Поспремити
Да бисте избегли наплате, створени ток можете избрисати помоћу наредбе испод.
aws kinesis delete-stream --stream-name KStream
Закључак
АВС Кинесис је платформа која сакупља, обрађује и анализира стреаминг података за неколико апликација попут машинског учења, предиктивне анализе и тако даље. Подаци за стриминг могу бити у било којем формату, попут аудио, видео записа, података сензора итд.
Препоручени чланци
Ово је водич за АВС Кинесис. Овде смо расправљали о томе како користити АВС Кинесис, а такође и његов сервис у раду и архитектури. Такође можете погледати следећи чланак да бисте сазнали више -
- АВС Арцхитецтуре
- Шта је АВС Ламбда?
- Биг Дата Тецхнологиес
- Дата Мининг Арцхитецтуре
- Услуге складиштења АВС-а
- Водич за такмичаре АВС са карактеристикама