Каријера у Хадоопу - увод
Хадооп није пуки оквир у свету великих података. Има широк екосистем са кишобраном повезаних технологија. Из истог разлога, каријера у Хадоопу обећава. Ако добро разумете Хадооп основе, то ће бити темељ за велику каријеру у Хадоопу.
Образовање до каријере у Хадоопу
Као и многе нове технологије података у развоју, и Хадооп не захтева никакву специфичну образовну позадину. Отприлике половина програмера Хадоопа потичу из не-информатичких наука попут статистике или физике. Дакле, јасно је да позадина не представља препреку уласку у свет Хадоопа, под условом да сте спремни да научите основе. Постоје добри покривени курсеви за Хадооп на мрежи - онај од едуЦБА је најбољи пример - мастер-апацхе-Хадооп
Надаље, ако желите да се помакнете дубље у одређено подручје Хадооп управљања кластерима или моделирања података у материјалима Хиве о свакој одређеној теми доступним као онлине курсеви и уџбеници. Већину времена Хадооп кластери ће бити постављени у добављачу облака попут АВС или Азуре. Дакле, упознавање са било којим добављачем облака по вашем избору пуно ће вам помоћи. Хадооп услуга из АВС назива се ЕМР.
Популарна специјализација укључује:
- Спарк - Скалабилни механизам за обраду података у меморији
- ХБасе - Нема СКЛ базе података на врху ХДФС
- Ширина - Стреаминг обрада података првог приступа
- Свиња - скрипти за трансформацију података (ЕТЛ)
- Кошница - складиштење података
- Махоут, Спарк МЛлиб - Скалабилно машинско учење на Хадоопу
- Апацхе Дрилл - СКЛ мотор на Хадоопу
- Флуме, Скооп - Услуге уноса података
- Солр & Луцене - Претраживање и индексирање
Каријера у Хадоопу
Према резултатима Анкете о преливању стакала из 2017. године, Хадооп је водећи у најпопуларнијем и најомиљенијем оквиру у простору великих података (Сурвеи Линк). Ово је могуће само зато што су људи из различитих ИТ перспектива нашли Хадооп потенцијални пут каријере и желе да се пребаце.
Без обзира на вашу тренутну улогу, ИТ улога ће бити лако прилагодљива каријери у свету Хадоопа. Неки популарни примери -
- Софтваре Девелопер (програмер) -> Хадооп Дата Девелопер који се бави различитим СДК апстракцијама Хадооп-а и добија вредност из података.
- Анализатор података -> Значи, ви сте стручњаци у СКЛ.Одличне прилике у Хадоопу за рад на СКЛ моторима попут Хиве или Импала
- Бусинесс Аналист -> Организације које покушавају постати профитабилније користећи масовно прикупљене податке, а улога пословног аналитичара је пресудна у томе.
- ЕТЛ Девелопер -> Ако радите као традиционални програмер ЕТЛ-а, лако се пребаците на Хадооп ЕТЛ користећи алате као што су Спарк.
- Тестери -> У свету Хадооп-а постоји велика потражња за тестерима. Разумевањем основа Хадоопа и профилирања података, било који испитивач може се пребацити на ту улогу.
- БИ / ДВ професије -> Може се лако пребацити на Хадооп Архитектура података на моделирање података.
- Старији ИТ професионалци -> Уз дубоко разумевање домена и постојећих изазова у свету података, старији професионалац може постати консултант стицањем знања о томе како Хадооп покушава да реши ове изазове.
- Постоје генеричке улоге као што су Дата Енгинеерс или Биг Дата Енгинееринг који су одговорни за имплементацију решења већим делом над облацима добављача. Стицањем знања о компонентама података облака које пружа пружа услуге, ово ће бити обећавајућа улога.
Послови
Хадооп екосистем нуди разне могућности каријере
- МапРедуце Девелопер - Ово је у основи Јава програмер који такође разуме како Хадооп системи интерно функционишу. Доступна је апстракција попут кошнице или Свиње и даље су задаци МапРедуце потребни за системе високих перформанси. МапРедуце програмери су они који разумеју систем и улаз и излазак и плаћају заиста високе.
- Хадооп администратори - ово су људи одговорни за одржавање и очување здравих и радних карактеристика Хадооп кластера. То може обухватати типичне административне задатке попут редовних прегледа система, али већину задатака потребних за разумевање Хадооп архитектуре система.
- Девопс - уградите нове компоненте система и остале промене у вези са развојем у Хадооп групи. Одговорност ове улоге се увелике разликује и зависи од културе организације.
- Дата Девелопер - Обрада података на врху Хадоопа. Ова једна од најпопуларнијих улога у Хадооп екосистему. Људи из СКЛ или аналитичке позадине најбоље се уклапају у ове улоге. Углавном раде на апстракцији Хадоопа на високом нивоу попут кошнице или свиње.
- Администратор сигурности података - Подаци су највриједнија имовина и њихово осигурање је најважније. Сигурносни администратори осигуравају стандардне индустријске политике и најбољу праксу за заштиту података, уз разумевање ограничења система
- Визуализатор података - Руковање алатима за визуелизацију нове генерације који омогућавају динамичко сечење и здруживање података са меморијом података у меморији
- ЕТЛ Девелопер - трансформишите податке за побољшање квалитета података или према пословној логици користећи Хадооп алате екосистема. ЕТЛ процес може бити стриминг или батцх.
- Систем Арцхитецт - Дизајнирајте високо ефикасне системе који имају на уму доступност и трајност података на економичан начин. Веома зависи од добављача хардвера.
- Архитекта података - Осим традиционалног логичког / физичког дизајна података, пуно ствари као што су кодирање ступаца, денормализација, дизајн партиција итд. Бит ће одговорност архитекта података.
Препоручени курсеви
- Онлине КСМЛ и Јава обука
- Ноде.ЈС Курсеви
- Силверлигхт курс за обуку
- Ембер.ЈС Програм
Плата
Просечна зарада софтверског програмера у САД-у износи 90.956 долара годишње, док је просечна плата програмера Хадооп-а знатно већа - 118.234 долара годишње (Као што је то, заиста.цом - заиста.цом)
Плате програмера Хадооп-а у водећим компанијама у САД-у (Реф: заиста.цом)
| Аппле | 147, 573 долара годишње |
| Випро | 110, 553 долара годишње |
| ХЕРО.јобс | 158, 715 УСД годишње |
| МБЦАА | 133, 422 долара годишње |
| Вентурес Унлимитед Инц | 130.000 долара годишње |
| Нитио Инфотецх Сервицес Пвт. Лтд. | $ 128, 633 годишње |
| СЕВЕРЊАЧА | 126, 370 УСД годишње |
| ПРИ технологија | $ 121, 396 годишње |
| НИТИО ИНФОТЕЦХ | 116, 909 долара годишње |
| ХортонВоркс, Инц | 110, 710 УСД годишње |
Цареер Оутлоок
Хадооп екосистем се много разилази како би удовољио променама у пословним потребама. Како се генерирани подаци експоненцијално повећавају и све више и више организација постаје вођено подацима, релевантност Хадооп система тек ће се повећавати.
Неки од запажених трендова:
- Прелазак са серијске обраде на ток првог приступа обради података користећи Спарк и Беам
- Више модела машинског учења у реалном времену примењено на податке у реалном времену помоћу Спарк МЛ-а
- Склопљени СКЛ мотори из складишта података као што је Престо на врху С3 за ад-хоц анализу на врху језера података.
- Цолумнар МПП базе података попут АВС Редсхифт за брзи приступ подацима
Будући да је Хадооп добро имплементиран од стране Хадоопа, Хадооп ће као водећи екосустав за обраду података наставити као водећи екосистем као основни аспект обраде Биг Дата-а.
Препоручени чланак
Ово је водич за каријеру у Хадоопу. Овде смо разговарали о уводу, образовању, каријерном путу у Хадоопу, платама и изгледима каријере у Хадоопу. можете погледати и следећи чланак да бисте сазнали више -
- Азуре Паас вс Иаас и њихове корисне користи
- Откријте разлике између Јава и Ноде ЈС
- Најбољи стручни савјети о каријери у маинфраме-у
- Каријере у СКЛ-у
- Корисне каријере као софтверски инжењер
- Хадооп Администратор | Вештине и каријера