Увод у Апацхе Флуме

Апацхе Флуме је оквир за заузимање података који на основу догађаја уписује податке у дистрибутивни систем датотека Хадооп. Позната је чињеница да Хадооп обрађује велике податке, поставља се питање како се подаци генерисани са различитих веб сервера преносе у систем датотека датотека Хадооп? Одговор је Апацхе Флуме. Флуме је дизајниран за унос великих количина података у податке Хадоопа на основу догађаја.

Размислите о сценарију у којем број веб сервера генерише датотеке дневника и те датотеке дневника требају пренијети у датотечни систем Хадооп. Флуме прикупља те датотеке као догађаје и пребацује их у Хадооп. Иако се Флуме користи за пренос у Хадооп, не постоји круто правило да одредиште мора бити Хадооп. Флуме може писати у друге оквире попут Хбасе или Солр.

Флуме Арцхитецтуре

Генерално, архитектура Апацхе Флуме се састоји од следећих компоненти:

  • Извор протока
  • Флуме Цханнел
  • Умиваоник
  • Флуме Агент
  • Флуме Евент

Погледајмо укратко сваку компоненту Флуме-а

1. Извор дима

Извор протока присутан је у генераторима података као што су Фаце боок или Твиттер. Извор прикупља податке од генератора и преноси их на Флуме Цханнел у облику Флуме Евентс. Флуме подржава разне врсте извора попут Авро Флуме Соурце - повезује се на Авро порту и прима догађаје од Авро-иног спољног клијента, Тхрифт Флуме Соурце - повезује се на Тхрифт порт и прима догађаје из спољних протокола клијента Тхрифт, Соурце споолинг Дирецтори и Кафка Флуме Соурце.

2. Флуме Цханнел

Интермедијарна продавница која спаја догађаје које шаље Флуме Соурце док их Синк не потроши назива се Флуме Цханнел. Канал делује као посредни мост између извора и судопера. Канали димњака су по природи трансакциони.

Флуме пружа подршку за канал Филе и Мемори. Канал датотеке је трајне природе, што значи да након што се подаци упишу у канал неће изгубити, иако се агент поново покрене. У меморији се догађаји канала чувају у меморији, тако да по природи није трајан, али је веома брз.

3. Умиваоник

Умиваоник је присутан у спремиштима података као што су ХДФС, ХБасе. Умиваоник флуме конзумира догађаје са Канала и складишти их у одредишне продавнице попут ХДФС. Не постоји правило такво да судопер треба да испоручује догађаје у Сторе, уместо тога можемо га конфигурирати на начин да судопер може испоручити догађаје другом агенту. Флуме подржава разне судопере попут судопера ХДФС, судопер, кошуља, Авро судопер.

Слика 1.1 Основна архитектура димњака

4. Агент за испирање

Флуме агент је дуготрајни Јава процес који се изводи на Цомбинатион Соурце - Цханнел - Синк. Флуме може имати више агенса. Флуме можемо сматрати колекцијом повезаних Флуме агената који се дистрибуирају у природи.

5. Флуме Евент

Догађај је јединица података која се преноси у Флуме-у . Опћенито представљање Дата Дата у Флуме-у назива се Евент. Догађај се састоји од корисног оптерећења бајт низа са опционим заглавља.

Рад са Флумеом

Флуме агент је јава процес који се састоји од извора - канала - судопера у свом најједноставнијем облику. Извор прикупља податке из генератора података у облику догађаја и доставља их Каналу. Извор се може испоручити на више канала према захтеву. Избацивање вентилатора је процес у којем ће један извор писати на више канала тако да могу испоручити у више пониста.

Догађај је основна јединица података који се преносе у Флуме-у. Канал похрањује податке док их Синк не ингетира. Синк прикупља податке са Канала и доставља их у Централизовано чување података као што је ХДФС или Синк може те догађаје проследити другом агенту Флуме-а, по захтеву.

Флуме подржава Трансакције. Да би постигао поузданост, Флуме користи одвојене трансакције од извора до канала и од канала до судопера. Ако догађаји не буду испоручени, трансакција се враћа и касније се поново испоручује.

Да бисмо разумели рад Флуме-а, узмимо пример конфигурације Флуме-а где је извор споол директоријум, а судопер је Хдфс. У овом примеру агент Флуме се налази у најједноставнијем облику, тј. Топологији судопера једног извора - канала која се конфигурише помоћу датотеке својстава Јава.

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /tmp/spooldir
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path = /tmp/flume
agent1.channels.channel1.type = file

У горњем примеру конфигурације агент је база са којом дефинишемо друга својства. извор1 и судопер1 и канал1 су имена извора, судопера и канала односно њихове врсте и локације се такође спомињу у складу с тим.

Предности Апацхе Флуме

  • Машина је скалабилна, поуздана и отпорна на грешке. О овим својствима детаљније се говори у наставку
  • Скалабилан - истицање је хоризонтално скалабилно, тј. Можемо додати нове чворове према нашим захтевима
  • Поуздано - Апацхе Флуме има подршку за трансакције и осигурава да се у процесу преноса података не изгубе никакви подаци. Има различите трансакције од извора до канала и од канала до извора.
  • Флуме је прилагодљив и пружа подршку за разне изворе и судопере попут Кафке, Авро, мапе за споол, Тхрифт итд.
  • У Флуме-у, један извор може пренијети податке на више канала, а ти канали ће заузврат пренијети податке у више пониста, тако да један извор може пренијети податке у више пониста. Овај механизам се зове Фан оут. Флуме такође подржава Фан Фан.
  • Флуме омогућава стални проток преноса података, тј. Ако се брзина читања података повећава, а затим се повећава и брзина писања података.
  • Иако Флуме обично записује податке у централизовану меморију попут ХДФС или Хбасе, можемо да конфигуришемо Флуме према нашим захтевима тако да Синк може да упише податке другом агенту. То показује флексибилност Флуме-а
  • Апацхе Флуме је отворени извор у природи.

Закључак

У овом чланку Флуме-а детаљно су размотрене компоненте Флуме-а и рад компаније Флуме. Флуме је флексибилна, поуздана и скалабилна платформа за пренос података у централизовану продавницу попут ХДФС-а. Његова способност да се интегрише са различитим апликацијама као што су Кафка, Хдфс, Тхрифт чини своју одрживу опцију за унос података.

Препоручени чланци

Ово је водич за Апацхе Флуме. Овде смо разговарали о архитектури, раду и предностима Апацхе Флуме. Можда ћете такође погледати следеће чланке да бисте сазнали више -

  1. Шта је Апацхе Флинк?
  2. Разлика између Апацхе Кафке и Флуме
  3. Архитектура великих података
  4. Хадооп Тоолс
  5. Научите различите ЈаваСцрипт догађаје

Категорија:

Велики података