Шта је дистрибуирани предмеморија у Хадоопу?

Хадооп је оквир отвореног кода и користи дистрибуирано складиштење као и обраду огромних скупова података помоћу ХДФС и МапРедуце. Има НамеНодес који чувају метаподатке и ДатаНодес који чувају стварне податке у ХДФС. Када требамо обрадити огромне скупове података, то ради програм који су написали корисници, а затим се обрада паралелно врши у ДатаНодес-овима. У оквиру Хадооп-а постоје одређене датотеке које су често потребне за МапРедуце задатке. Ако се покреће број пресликача, сваки пут када се тражи читање датотека са ХДФС-а, латенција ће се повећавати јер ће се повећавати и време тражења. Дакле, уместо да их читате сваки пут када су потребне датотеке, датотеке се могу копирати и послати свим ДатаНодес-овима. Овај механизам се назива дистрибуирани предмеморија у Хадоопу.

Рад дистрибуиране предмеморије у Хадоопу

  • Хадооп копира датотеке које су специфициране опцијама као што су –филес, -либјарс и –арцхивес у ХДФС када се покрене посао. Тада ће управитељ чвора копирати датотеке из ХДФС-а у предмеморију тако да кад се изврши задатак, може приступити датотекама. Датотеке се могу назвати као локализиране док се копирају у предмеморију или локални диск.
  • У кешу се броји број задатака који користе сваку датотеку као референт одржава у референци. Број референтних датотека постаје 1 прије него што се задатак покрене. Али након што се задатак покрене, број се смањује за 1. Када бројање постане 0, датотеку можете избрисати јер се не навикава. Кад предмеморија чвора достигне одређену величину, брише се датотека тако да се нове датотеке могу смјестити. Величина предмеморије се може промијенити у својству конфигурације. Величина дистрибуиране предмеморије у Хадоопу је подразумевано 10 ГБ.
  • МапРедуце постаје спорији од предмеморије у обради ако има вишка. Да би се превазишла ова ситуација, дистрибуирани кеш може серијски да изврши објекте, али чак и то има мало проблема. Рефлексија је процес који се користи за истраживање врсте информација током времена извођења који је веома спор. Такође, постаје веома тешко у сериализацији где похрањује целокупно име кластера, име класе заједно са референцама на друге инстанце присутне у чланским променљивим.

Имплементација Хадооп-а у дистрибуираном кешу

  • Да бисмо користили расподељену кеш меморију за неку апликацију, морамо се побринути за то да би могли дистрибуирати датотеку по чворовима; датотека би требала бити прва доступна. Дакле, морамо копирати датотеке у ХДФС и такође морамо провјерити да ли је датотека доступна путем УРИ-ова који се могу пронаћи приступом језгри-сите.кмл. Тада посао МапРедуце копира датотеку предмеморије у све чворове прије него што се задаци почну изводити на тим чворовима.
  • Дакле, да бисмо имплементирали дистрибуирани предмемориј, морамо копирати датотеке у ХДФС и можемо провјерити је ли то учињено или не путем хдфс дфс –пут /патх/самплефиле.јар наредбе. Такође, за апликацију је потребно подесити конфигурацију посла и то додати у возачку класу.
  • Датотеке које чита само власник, иду у приватну кеш меморију док дељена кеша има датотеке које су читљиве у свету. Датотека која се дода у предмеморију користи се без икаквих ограничења у свим машинама у кластеру као локална датотека. АПИ позиви испод могу се користити за додавање датотека у кеш меморију.

Шифра:

DistributedCache.addCacheFile(URI, conf);
DistributedCache.setCacheFiles(URIs, conf);

Дељење датотека дистрибуиране кеш меморије на подређеним чворовима зависи од тога да ли су датотеке дистрибуираног кеша приватне или јавне. Приватне датотеке дистрибуиране предмеморије спремају се у локални директориј корисника који је приватан кориснику, а те датотеке су потребни корисниковим пословима. У случају јавних дистрибуираних датотека кеширања, датотеке се спремају у глобални директориј. Приступ датотекама у случају јавне предмеморије постављен је на начин да су видљиве свим корисницима. Такође, дистрибуирана датотека кеш меморије постаје приватна или јавна у зависности од дозволе датотечног система.

Предности дистрибуиране предмеморије у Хадоопу

Употребом дистрибуиране предмеморије, у Хадооп оквир се додају многе повољне карактеристике. Испод су предности коришћења дистрибуиране предмеморије:

1. Дистрибуирана предмеморија у једној тачки квара

У случају квара чвора, он неће направити потпуну грешку кеша. Будући да дистрибуирана предмеморија ради као самостални или независни процес кроз различите чворове. Дакле, ако се грешка кеша догоди на једном чвору, то не значи да би цео предмеморија такође требало да падне.

2. Доследност података

Коришћењем Хасх алгоритма, може се утврдити који парови кључ / вредност припадају којем чвору. Такође, дистрибуирана предмеморија у Хадооп-у надгледа или прати модификацију временске ознаке која се врши у датотекама кеш меморије и извештава да док се задатак не изврши, датотека не би требало да се мења. Дакле, подаци никада не постају недоследни због јединственог стања кластер кеша.

3. Складиштење сложених података

Дистрибуирана предмеморија у оквиру Хадооп пружа предност предмеморирања датотека само за читање попут текстуалних датотека, јар датотека, итд., А затим их емитује у чворове података. Због тога се копија датотеке чува у сваком чвору података. Са функцијом дистрибуиране кеш меморије, сложене датотеке попут стакленке итд. Се дистрибуирају и чувају.

Закључак

Дистрибуирана предмеморија пружа ефикасност јер се датотеке копирају по један пут за сваки посао. Такође, има могућност кеширања архива које нису архивиране на робовима. Употреба дистрибуиране предмеморије додатни је бонус и зависи од програмера да најбоље искористи ову функцију.

Препоручени чланци

Ово је водич за дистрибуирани кеш у Хадоопу. Овде смо расправљали о томе шта се дистрибуира кеш у Хадоопу, његовом раду, примени и користима. Можете и да прођете кроз остале сродне чланке да бисте сазнали више -

  1. Предности Хадоопа
  2. Инсталирајте Хадооп
  3. Шта је Хеад у Гиту?
  4. Екосистем Апацхе Хадооп
  5. Варијабле у ЈаваСцрипт-у

Категорија: