Како инсталирати Спарк?
Спарк је оквир отвореног кода за покретање аналитичких апликација. То је мотор за обраду података који је домаћин у неовисној добављачкој софтверској фондацији Апацхе, која ради на великим скуповима података или великим подацима. То је кластерски рачунски систем опште намене који пружа АПИ-је високог нивоа у Сцала, Питхон-у, Јава-у и Р. Развијан је тако да превазиђе ограничења у Хадаоповој парадигми МапРедуце. Научници који се баве подацима верују да се Спарк извршава 100 пута брже од МапРедуцеа, јер може кеширати податке у меморију док МапРедуце више ради читањем и писањем на дискове. Обавља обраду у меморији што га чини снажнијим и бржим.
Спарк нема свој систем датотека. Обрађује податке из различитих извора података као што су Хадооп Дистрибуирани датотечни систем (ХДФС), Амазонов С3 систем, Апацхе Цассандра, МонгоДБ, Аллукио, Апацхе Хиве. Може се покретати на Хадооп ИАРН (још један преговарач о ресурсима), на Месосу, на ЕЦ2, Кубернетесу или користећи самостални режим кластера. Користи РДД (Ресилиент Дистрибутед Датасет) за делегирање радних оптерећења на појединачне чворове који подржавају у итеративним апликацијама. Због РДД-а, програмирање је лако у поређењу с Хадооп-ом.
Спарк се састоји од различитих компоненти које се називају Цомпонентс Спарк Ецосистем.
- Спарк Цоре: темељ је апликације Спарк о којој директно зависе остале компоненте. Омогућава платформу за широк избор апликација као што су заказивање, дистрибуција диспечинга задатака, у обради меморије и референци података.
- Стреаминг Стреаминг: То је компонента која делује на ливе стреаминг подацима ради пружања аналитике у стварном времену. Подаци уживо се узимају у дискретне јединице које се називају серије које се изводе на Спарк Цоре.
- Спарк СКЛ: То је компонента која делује на врху језгре Спарк за покретање СКЛ упита на структурираним или полуструктурираним подацима. Дата Фраме је начин за интеракцију са Спарк СКЛ-ом.
- ГрапхКс: Механизам за рачунање графикона или оквир који омогућава обраду података графикона. Омогућава различите алгоритме графова за покретање на Спарк-у.
- МЛлиб: Садржи алгоритме машинског учења који пружају оквир машинског учења у дистрибутивном окружењу заснованом на меморији. Ефикасно изводи итеративне алгоритме захваљујући могућности за обраду података у меморији.
- СпаркР: Спарк нуди Р пакет за покретање или анализу скупова података користећи Р схелл.
Постоје три начина за инсталирање или постављање искра у ваше системе:
- Самосталан мод у Апацхе Спарк-у
- Хадооп ИАРН / Месос
- СИМР (искри у МапРедуце)
Погледајмо размештање у самосталном режиму.
Искрени самостални начин размештања:
1. корак: Ажурирајте индекс пакета
Ово је неопходно за ажурирање свих присутних пакета у вашој машини.
Користите наредбу : $ судо апт-гет упдате
Корак 2: Инсталирајте Јава Девелопмент Кит (ЈДК)
Ово ће инсталирати ЈДК у вашу машину и помоћи ће вам да покренете Јава апликације.
Корак 3: Проверите да ли се Јава правилно инсталирала
Јава је предуслов за коришћење или покретање Апацхе Спарк апликација.
Употреба команде : $ јава –верзија
Овај екран приказује верзију јаве и обезбеђује присуство јаве на машини.
Корак 4: Инсталирајте Сцала на вашу машину
Како је Спарк написан скалом, тако се мора инсталирати скала да би покренула искру на вашој машини.
Користите Цомманд: $ судо апт-гет инсталл сцала
Корак 5: Проверите да ли је Сцала правилно инсталирана
Ово ће осигурати успјешну инсталацију скале на ваш систем.
Користите Цомманд : $ сцала -версион
Корак 6: Преузмите Апацхе Спарк
Преузмите Апацхе Спарк према вашој Хадооп верзији са хттпс://спарк.апацхе.орг/довнлоадс.хтмл
Када пређете на горњу везу, појавиће се прозор.
Корак 7: Одаберите одговарајућу верзију у складу са вашом Хадооп верзијом и кликните на линк означен.
Појавио би се још један прозор.
Корак 8: Кликните на везу која је обележена и у ваш систем ће се преузети Апацхе искра.
Проверите да ли је .тар.гз датотека доступна у фасцикли за преузимање.
Корак 9: Инсталирајте Апацхе Спарк
За инсталирање Спарк-а, датотека тар-а мора се издвојити.
Користите команду: $ тар квф спарк- 2.4.0-бин-хадооп2.7.тгз
Морате променити верзију поменуту у наредби у складу са преузетом верзијом. У овоме смо преузели верзију спарк-2.4.0-бин-хадооп2.7.
Корак 10: Подесите променљиву околину за Апацхе Спарк
Користите Цомманд: $ соурце ~ / .басхрц
Додајте линију : екпорт ПАТХ = $ ПАТХ: / уср / лоцал / спарк / бин
Корак 11: Проверите инсталацију Апацхе Спарк-а
Користите Цомманд : $ спарк-схелл
Ако је инсталација успела, биће произведен следећи излаз.
Ово означава успешну инсталацију Апацхе Спарк-а на вашу машину и Апацхе Спарк ће се покренути у Сцали.
Умештавање варнице на Хадооп ПРИЈАВА:
Постоје два начина за постављање Апацхе Спарк на Хадооп ИАРН.
- Режим кластера: У овом режиму ИАРН на кластеру управља Спарк драјвером који се покреће унутар мастер процеса апликације. Након покретања апликације клијент може ићи.
- Клијентски мод: У овом режиму, мастер се апликација тражи од ИАРН-а, а управљачки програм Спарк покреће се у клијентовом процесу.
Да бисте имплементирали апликацију Спарк у режиму кластера, користите наредбу:
$spark-submit –master yarn –deploy –mode cluster mySparkApp.jar
Горња наредба ће покренути програм ИАРН клијента који ће покренути задани мастер апликације.
Да бисте имплементирали апликацију Спарк у режиму клијента, користите наредбу:
$ spark-submit –master yarn –deploy –mode client mySparkApp.jar
Можете покренути искривач у клијентском режиму помоћу наредбе:
$ spark-shell –master yarn –deploy-mode client
Савјети и трикови за употребу искре инсталације:
- Пре инсталирања искре осигурајте да је на ваш уређај инсталиран Јава.
- Ако користите језик скале, пре употребе Апацхе Спарк проверите да ли је скала већ инсталирана.
- Можете користити и Питхон уместо Сцале за програмирање у Спарк-у, али он мора бити унапред инсталиран као Сцала.
- Апацхе Спарк можете да покренете и у Виндовс-у, али се предлаже да креирате виртуелну машину и инсталирате Убунту користећи Орацле Виртуал Бок или ВМВаре Плаиер .
- Спарк може да ради без Хадоопа (тј. Самосталног режима), али ако је потребно подешавање више чворова, тада су потребни менаџери ресурса попут ИАРН или Месос.
- Док користите ИАРН, није потребно инсталирати Спарк на сва три чвора. Апацхе Спарк морате инсталирати само на један чвор.
- Док користите ИАРН ако сте у истој локалној мрежи са кластером, тада можете користити клијентски режим, док ако сте далеко, онда можете користити кластер режим.
Препоручени чланци - Инсталација искре
Ово је водич за инсталацију Спарк-а. Овде смо видели како инсталирати Апацхе Спарк у самосталном режиму и на врху менаџера ресурса ИАРН, а такође се помињу и неки савети и трикови за неометану инсталацију Спарка. Такође можете погледати следећи чланак да бисте сазнали више -
- Како се користе Спарк команде
- Каријера у Спарку - морате покушати
- Разлике Сплунк од Спарк
- Спарк Интервју Питања и одговори
- Предности искрећег струјања
- Врсте придруживања у Спарк СКЛ-у (примери)