Преглед Инсталирај Хадооп
Сљедећи чланак Инсталл Хадооп нуди преглед најчешћих Хадооп-ових основних модула и корак-мудру инсталацију за Хадооп. Апацхе Хадооп је колекција софтвера која омогућава обраду великих скупова података и дистрибуирану меморију преко кластера различитих типова рачунарског система. Тренутно је Хадооп и даље најчешће коришћена аналитичка платформа за велике податке („Санцхита Лобо, аутор на Блог-у за тренинг за аналитику“, друго).
Хадооп Фрамеворк
Оквир Апацхе Хадооп састоји се од следећих кључних модула.
- Апацхе Хадооп Цоммон.
- Апацхе Хадооп систем дистрибуције датотека (ХДФС).
- Апацхе Хадооп МапРедуце
- Апацхе Хадооп ИАРН (још један менаџер ресурса).
Апацхе Хадооп Цоммон
Апацхе Хадооп Цоммон модул се састоји од заједничких библиотека које се троше кроз све остале модуле, укључујући управљање кључевима, генеричке И / О пакете, библиотеке за прикупљање метрика и услужне програме за регистар, сигурност и стриминг.
ХДФС
ХДФС је заснован на Гоогле датотечном систему и структуриран је да ради на нискобуџетном хардверу. ХДФС је толерантан на грешке и дизајниран је за апликације које имају велике скупове података.
Карта смањити
МапРедуце је инхерентни модел паралелног програмирања за обраду података и Хадооп може покренути МапРедуце програме написане на различитим језицима као што је Јава. МапРедуце делује тако што дели обраду на фазу мапе и смањује фазу.
Апацхе Хадооп ПРЕД
Апацхе Хадооп ИАРН је основна компонента и технологија управљања ресурсима и распореда послова у Хадооп дистрибуираном оквиру обраде.
У овом ћемо чланку разговарати о инсталацији и конфигурацији Хадооп 2.7.4 на једном чворничком кластеру и тестирати конфигурацију покретањем програма МапРедуце званог вордцоунт да бројимо број ријечи у датотеци. Даље ћемо погледати неколико важних команди Хадооп Филе Систем.
Кораци за инсталирање Хадоопа
Следи резиме задатака укључених у конфигурацију Апацхе Хадооп.
Задатак 1: Први задатак у инсталацији Хадооп обухватио је постављање шаблона виртуелне машине који је конфигурисан са Цент ОС7. Пакети попут Јава СДК 1.8 и Рунтиме Системс потребних за покретање Хадоопа преузети су, а Јава окружење променљива за Хадооп конфигурирано је уређивањем басх_рц.
Задатак 2: Пакет Хадооп Релеасе 2.7.4 преузет је са веб странице апацхе и екстрахиран у опт фолдер. Који је затим преименован у Хадооп због лаког приступа.
Задатак 3: Једном када су издвојени Хадооп пакети, следећи корак укључује конфигурирање променљиве околине за корисника Хадооп-а након чега следи конфигурација КСМЛ датотека чвора Хадооп. У овом кораку НамеНоде је конфигурисан унутар цоре-сите.кмл, а ДатаНоде је конфигуриран унутар хдфс-сите.кмл. Управитељ ресурса и управитељ чворова конфигурирани су у оквиру пређе-сите.кмл.
Задатак 4: Ватрозид је онемогућен да би се покренули ИАРН и ДФС. ЈПС наредба је коришћена за проверу да ли се у позадини приказују релевантни демони. Број порта за приступ Хадоопу конфигуриран је за хттп: // лоцалхост: 50070 /
Задатак 5: Следећих неколико корака коришћено је за верификацију и тестирање Хадоопа. За то смо направили привремену пробну датотеку у директорију за унос програма ВордЦоунт. Програм за смањење мапа Хадооп-МапРедуце-екампле2.7.4.јар коришћен је за бројање броја речи у датотеци. Резултати су процењени на локалитету и евидентирани су записи пријављене пријаве. Све предате апликације МапРедуце могу се прегледати на интернетском интерфејсу, а задани број порта је 8088.
Задатак 6. У задњем задатку увест ћемо неке основне наредбе система Хадооп Филе Систем и провјерити њихову употребу. Видећемо како се директоријум може креирати у датотечном систему Хадооп, да бисмо приказали садржај директорија, његову величину у бајтовима. Даље ћемо видјети како избрисати одређени директориј и датотеку.
Резултати у Хадооп инсталацији
Следеће приказује резултате сваког од горе наведених задатака:
Резултат задатка 1
Нова виртуелна машина са ценОС7 сликом је конфигурисана за покретање Апацхе Хадооп. На слици 1 приказано је како је слика ЦенОС 7 конфигурисана у виртуелној машини. На слици 1.2 приказана је конфигурација променљиве окружења ЈАВА унутар .басх_рц.
Слика 1: Конфигурација виртуелног строја
Слика 1.2: Конфигурација променљиве Јава окружења
Резултат задатка 2
На слици 2 приказан је задатак који се обавља како би се издвојио Хадооп 2.7.4 пакет за одабир мапе.
Слика 2: Екстракција пакета Хадооп 2.7.4
Резултат задатка 3
На слици 3 приказана је конфигурација променљиве околине за корисника Хадооп-а, на слици 3.1 до 3.4 приказана је конфигурација за КСМЛ датотеке потребне за конфигурацију Хадооп-а.
Слика 3: Конфигурирање променљиве окружења за Хадооп корисника
Слика 3.1: Конфигурација цоре-сите.кмл
Слика 3.2: Конфигурација хдфс-сите.кмл
Слика 3.3: Конфигурација датотеке мапред-сите.кмл
Слика 3.4: Конфигурација датотеке пређе-сите.кмл
Резултат задатка 4
На слици 4 приказана је употреба јпс наредбе за провјеру да ли се демони изводе у позадини, а сљедећа слика приказује Хадооп-ово интернетско корисничко сучеље.
Слика 4: јпс наредба за верификацију покретачких демона.
Слика 4.1: Приступање Хадооп интерфејсу на луци хттп://хадооп1.екампле.цомвхат0070/
Резултат задатка 5
Слика 5 приказује резултат за МапРедуце програм зван вордцоунт који броји број речи у датотеци. Наредних пар слика приказује интернетско корисничко сучеље управитеља ресурса ИАРН за послани задатак.
Слика 5: Резултати програма МапРедуце
Слика 5.1: Поднесена апликација за смањење мапа.
Слика 5.2: Дневници за поднесену МапРедуце апликацију.
Резултат задатка 6
На слици 6 приказано је како креирати директориј унутар система датотека Хадооп и извршити листу хдфс директорија.
Слика 6: Израда директорија у датотечном систему Хадооп
На слици 6.1 је приказано како ставити датотеку у дистрибуирани систем датотека Хадооп, а на слици 6.2 је створена датотека у дирБ директоријуму.
Слика 6.1: Креирање датотеке у ХДФС-у.
Слика 6.2: Нова датотека је створена.
Следећих неколико слика показује како да попишете садржај одређених директорија:
Слика 6.3: Садржај дирА
Слика 6.4: Садржај дирБ-а
Следећа слика приказује како се могу приказати величина датотеке и директорија:
Слика 6.5: Приказивање величине датотеке и директорија.
Брисање директорија или датотеке може се лако извршити наредбом -рм.
Слика 6.6: За брисање датотеке.
Закључак
Биг Дата је одиграо веома важну улогу у обликовању данашњег свјетског тржишта. Хадооп оквир олакшава живот аналитичару података током рада на великим скуповима података. Конфигурација Апацхе Хадооп била је прилично једноставна и интернетски кориснички интерфејс пружао је кориснику више опција за подешавање и управљање апликацијом. Хадооп се масовно користи у организацијама за складиштење података, машинско учење и израду резервних копија података. Управљање великом количином података било је прилично корисно због Хадооп дистрибуираног окружења и МапРедуце. Развој Хадооп-а био је прилично невероватан у поређењу са релацијским базама података, јер им недостају опције подешавања и перформанси. Апацхе Хадооп је прилагођено и јефтино решење за ефикасно управљање и складиштење великих података. ХДФС такође помаже да се похрањују подаци.
Препоручени чланци
Ово је водич за инсталацију Хадоопа. Овде смо расправљали о уводу у Инстал Хадооп, корак по корак, инсталацији Хадоопа и резултатима Хадооп инсталације. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Увод у Хадооп Стреаминг
- Шта је Хадооп кластер и како функционише?
- Екосистем Апацхе Хадооп и његове компоненте
- Које су Хадооп алтернативе?