Увод у свињске команде

Апацхе Пиг је алат / платформа која се користи за анализу великих скупова података и обављање дугих серија података. Свиња се користи са Хадооп. Све скрипте свиња интерно се претварају у задатке за смањивање мапа и затим извршавају. Може да обрађује структуриране, полуструктуриране и неструктуриране податке. Свињске продавнице, њен резултат у ХДФС. У овом чланку сазнајемо више врста свињских команди.

Ево неких карактеристика свиње:

  1. Само-оптимизација: Свиња може да оптимизира послове извршења, корисник има слободу да се фокусира на семантику.
  2. Једноставност програмирања: Свиња нуди језик / дијалект на високом нивоу познат као латински свиња, који се лако пише. Свињски латиница пружа много оператора које програмер може користити за обраду података. Програмер такође има могућност писања сопствених функција.
  3. Прошириво: Свиња олакшава стварање прилагођене функције која се назива УДФ-ове (Кориснички дефинисане функције), што програмерима омогућава да брзо и лако постигну било који захтев за обраду. Скрипта свиња ради на љусци познатој као грунт.

Зашто свињске команде?

Програмери који нису добри с Јавом обично се боре с писањем програма на Хадоопу, тј. Писањем задатака за смањивање мапа. За њих је свињски латински, што је сасвим слично СКЛ језику, благодат. Приступ вишеструким упитима смањује дужину кода.
Дакле, свеукупан његов сажет и ефикасан начин програмирања. Команде свиња могу позивати код на многим језицима попут ЈРуби, Јитхон и Јава.

Архитектура свињских команди

Све скрипте написане на Пиг-Латин преко грунт схелл-а иду на парсер за проверу синтаксе и такодје се дешавају и друге разне провере. Излаз партера је ДАГ. Након тога се овај ДАГ прослеђује Оптимизер-у, који затим врши логичку оптимизацију као што је пројекција и гура према доле. Тада преводилац удовољава логичном плану послова МапРедуце. Коначно, ови задаци МапРедуце се подвргавају Хадоопу по поређеном редоследу. Ови послови се извршавају и дају жељене резултате.

Свињско-латински модел података у потпуности је угнијежђен и омогућава сложене типове података попут мапе и подешавања.

Свака појединачна вредност латинског језика свиње (без обзира на врсту података) позната је као Атом.

Основне свињске команде

Погледајмо неке од основних Пиг команди које су дате у наставку: -

1. Фс: Овде ће бити приказана сва датотека у ХДФС-у

грунт> фс –лс

2. Јасно: Ово ће очистити интерактивну Грунт шкољку.

грунт> цлеар

3. Историја:

Ова наредба приказује досад извршене наредбе.
грунт> историја

4. Читање података: Претпоставимо да се подаци налазе у ХДФС-у и да морамо да читамо податке Свиња.

грунт> цоллеге_студентс = ЛОАД 'хдфс: // лоцалхост: 9000 / пиг_дата / цоллеге_дата.ткт'

УПОТРЕБА ПигСтораге (', ')

ас (ид: инт, име: цхарарраи, презиме: цхарарраи, телефон: цхарарраи,

град: цхарарраи);

ПигСтораге () је функција која учитава и чува податке као структуриране текстуалне датотеке.

5. Складиштење података: Оператор продавнице користи се за чување обрађених / учитаних података.

грунт> СТОРЕ цоллеге_студентс ИНТО 'хдфс: // лоцалхост: 9000 / пиг_Оутпут /' КОРИШТЕЊЕ ПигСтораге (', ');

Овде је „/ пиг_Оутпут /“ директориј у који однос треба да буде смештен.

6. Думп Оператор: Ова наредба се користи за приказ резултата на екрану. Обично помаже у уклањању погрешака.

грунт> Думп цоллеге_студентс;

7. Опишите оператора: То помаже програмеру да погледа шему односа.

грунт> описати факултетске студенте;

8. Објасните: Ова команда помаже да се прегледају логички, физички и редуцирају планови извршења.

грунт> објаснити факултетске студенте;

9. Илустратор оператора: Ово даје корак по корак извршење изјава у свињским командама.

грунт> илуструју факултетске студенте;

Међусобне команде свиња

1. Група: Ова Пиг наредба ради на групирању података истим кључем.

грунт> гроуп_дата = ГРОУП Цоллеге_студентс по имену;

2. ЦОГРОУП: Ради слично као код оператора групе. Главна разлика између оператора Гроуп & Цогроуп је та што се оператор групе обично користи са једним односом, док се цогроуп користи са више односа.

3. Придружите се: користи се за комбиновање два или више односа.

Пример: Да бисмо извршили само-придруживање, рецимо да је однос „купац“ учитан из ХДФС тп пиг наредби у два односа купци1 и купци2.

грунт> цустомерс3 = ПРИДРУЖИТЕ се купцима1 БИ ид, цустомерс2 БИ ид;

Придруживање може бити самостално придруживање, придруживање унутар, вањско придруживање.

4. Крст: Ова свињска наредба израчунава умрежени производ два или више односа.

грунт> цросс_дата = ЦРОСС купци, поруџбине;

5. Унија: Спаја два односа. Услов спајања је да и стубови и домене односа морају бити идентични.

грунт> студент = УНИОН студент1, студент2;

Напредне команде свиња

Погледајмо неке од напредних Пиг команди које су дате у наставку:

1. Филтер: Ово помаже у филтрирању тупоља из везе, на основу одређених услова.

филтер_дата = ФИЛТЕР факултетски факултет по граду == 'Цхеннаи';

2. Различитост: Ово помаже у уклањању сувишних квачица из везе.

грунт> дистцт_дата = ДИСТИНЦТ цоллеге_студентс;

Ово филтрирање створиће ново име везе „разложени_податци“

3. Предрадити: ово помаже у генерисању трансформације података на основу података ступаца.

грунт> фореацх_дата = ФОРЕАЦХ студент_детаилс ГЕНЕРАТЕ ид, год, град;

Ово ће добити вредности ИД-а, старости и града сваког ученика из релације студент_детаилс и стога ће га сместити у други однос под називом фореацх_дата.

4. Поредак по: Ова наредба приказује резултат у поредјеном редоследу на основу једног или више поља.

грунт> ордер_би_дата = НАРУЧИТЕ факултетски факултет по старости ДЕСЦ;

Ово ће сортирати однос „факултетских студената“ у падајућем редоследу према старости.

5. Лимит: Ова команда добија ограничење бр. тупоља из везе.

грунт> лимит_дата = ЛИМИТ студент_детаилс 4;

Савети и Трикови

Испод су различити савети и трикови Пиг команди: -

1. Омогућите компресију на вашем улазу и излазу:

поставите инпут.цомпрессион.енаблед труе;

поставите оутпут.цомпрессион.енаблед труе;

Горе наведени редови кода морају бити на почетку Скрипта, тако да ће Пиг команде моћи да читају компримоване датотеке или генеришу компримоване датотеке као излаз.

2. Придружите се вишеструким односима:

За извођење левог спајања рецимо три односа (инпут1, инпут2, инпут3), треба се одлучити за СКЛ. То је зато што вањско спајање није подржано од Свиње на више од две табеле.

Уместо да изведете лево и придружите се у два корака:

дата1 = ПРИДРУЖИТЕ се улазу 1 типком ЛЕВО, инпут2 БИ типком;

дата2 = ПРИДРУЖИТЕ се податцима1 БИ инпут1 :: тастер ЛЕФТ, инпут3 БИ кеи;

То значи два посла смањења мапа.

Да бисте извршили горњи задатак ефикасније, можете се одлучити за „Цогроуп“. Цогроуп се може придружити у више односа. Цогроуп се подразумевано придружује спољашњем.

Закључак

Свиња је процедурални језик, кога научници података обично користе за ад-хоц обраду и брзо прототипирање. Одличан је алат за обраду података ЕТЛ-а и великих података. Скрипте за свиње се могу позивати на друге језике и обрнуто. Стога се Пиг команде могу користити за изградњу већих и сложенијих апликација.

Препоручени чланци

Ово је водич за свињске команде. Овде смо разговарали о основним, као и напредним Пиг командама и неким непосредним Пиг командама. Такође можете погледати следећи чланак да бисте сазнали више -

  1. Команде Адобе Пхотосхоп
  2. Команде Таблеау
  3. СКЛ (шифре, бесплатни савети и трикови)
  4. ВБА команде-завршни додири
  5. Различите операције повезане са Туповима

Категорија: