Шта је функција кошнице?
Као што знамо данас, Хадооп је једна од свестраних технологија у великим подацима. Хадооп има способност да се носи са великим подацима, али како је раст података пропорционалан, писање програма за смањивање мапа постаје тешко. За обављање СКЛ упита, присутних у ХДФС-у, једну такву технологију увео је Хадооп под називом апацхе Хиве коју је започео Фацебоок. Анализатор података веома користи кошницу. Они су распоређени за три функционалности, а то су: Сажетак података, анализа података о дистрибуираној датотеци и упит података. Хиве пружа СКЛ-ове упите зване ХКЛ - високи језик упита подржава ДМЛ, кориснички дефиниране функције. Компајлер Хиве интерно претвара овај упит у задатке за смањење мапе који поједностављују рад Хадоопа у писању сложених програма. Могли бисмо пронаћи кошницу у апликацији попут складиштења података, визуализације података и ад-хоц анализе, гоогле аналитицс. Кључна предност је што користе СКЛ знање које је основна вештина имплементирана од стране научника за податке и софтверских стручњака.
Детаљне функције кошнице
Хиве подржава различите типове података који се не налазе у другим системима база података. она укључује мапу, низ и структуру. Кошница има неке уграђене функције за обављање неколико математичких и аритметичких функција за посебне намене. Функције у кошници могу се сврстати у следеће врсте. Уграђене су функције и кориснички дефинисане функције.
А) Уграђене функције
Ове функције извлаче податке из таблица кошница и обрађују прорачуне. Неке од уграђених функција су:
1. Математичке / нумеричке функције
Ове функције се углавном користе за математичке прорачуне. Ове се функције користе у СКЛ упитима.
| Назив функције | Пример | Опис |
| АБС (двоструко к) | Кошница> изаберите АБС (-200) из тмп-а; | Вратиће апсолутну вредност броја. |
| ЦЕИЛ (дупли к) | Кошница> одаберите ЦЕИЛ (8.5) из тмп-а; | Добиће најмањи цели број већи од или једнак вредности к. |
| Ранд (), ранд (инт семе) | Кошница> изаберите Ранд () од тмп;
Ранд (0-9) | Враћа случајни број, зависи од вредности семена које би случајни бројеви били детерминирани. |
| Пов (двоструко к, двоструко и) | Осип> одаберите Пов (5, 2) од тмп; | Враћа к вредност подигнуту на снагу и. |
| КАТ (двоструко и) | Кошница> одаберите ФЛООР (11.8) од тмп; | Враћа максимални цео број мањи од или једнак да би дао вредност и. |
| ЕКСП (дупло а) | Кошница> изаберите Екп (30) из тмп-а; | Вратиће вредност експонента 30. природне вредности алгоритма. |
| ПМОД (инт а, инт б) | Кошница> изаберите ПМОД (2, 4) од тмп; | Даје позитиван модул броја. |
2. Функције колекције
Избацивање свих елемената заједно и враћање појединих елемената овиси о укљученом типу података.
| Назив функције | Пример | Опис |
| Мап_валуес (Мапа) | Кошница> одаберите вредности мапе ('хи', 45) | Дохваћа неуређене елементе низа. |
| Величина (мапа) | Кошница> одаберите величину (мапа) | Враћа број елемената на мапи типова података. |
| Арраи_цонтаинс (Низ б) | Кошница> одаберите арраи_цонтаинс (а (10)) | Враћа ТРУЕ ако низ садржи вредност. |
| Сорт_арраи (Низ а) | Кошница> одаберите сорт_арраи ((10, 3, 6, 1, 7)) | Поредава улазни низ у узлазном редоследу у складу с природним редоследом елемената низа и враћа вредност. |
3. Гудачке функције
Кориштењем стринг функција се анализа података изводи изврсно.
| Сплит (стринг с, пресвлачење низа) | Кошница> одаберите сплит ('едуцба ~ кошница ~ Хадооп, ' ~ ') излаз: ("едуцба", "кошница", "Хадооп") | Подељује низ око израза пат и враћа низ. |
| оптерећење (стринг с, инт Лен, јастучић за стринг) | Кошница> одаберите оптерећење ('ЕДУЦБА', 6, 'Х') | Враћа жице с десним паддингом дужином низа. (знак за пад). |
| Дужина (стринг стр) | Кошница> одаберите дужину ('едуцба') | Ова функција враћа дужину низа. |
| Ртрим (стринг а) | Кошница> одаберите ртрим ('ТОПИЦ');
Излаз: 'Тема' | Резултат враћа подрезивањем размака с десних крајева. |
| Цонцат (стринг м, стринг н) | Кућица> одаберите цонцат ('подаци', 'варе') Резултат: Датаваре | Резултат је у низу спајањем два низа, а ово може потрајати било који број улаза. |
| Обрнути (низови) | Кошница> одаберите преокрет ('мобилни') | Враћа резултат обрнутог низа. |
4. Функција датума
Неопходно је имати формат података у кошници да се спречи Нулл еррор у излазу. Неопходно је имати компатибилност датума да бисте приступили функцијама датуми кошнице.
| Уник_тиместамп (датум низа, низ низа) | Кошница> одаберите временску ознаку Уник_ ('2019-06-08', 'гггг-мм-дд'); Резултат: 124576 400 трајање времена: 0.146 секунди | Ова функција враћа датум у одређени формат и враћа секунде између датума и Уник времена. |
| Уник_тиместамп (датум стринга) | Кошница> одаберите временску ознаку Уник_ ('2019-06-08 09:20:10', 'гггг-мм-дд'); | Датум враћа у 'гггг-ММ-дд ХХ: мм: сс' формату у временску ознаку Уник. |
| Сат (датум струне) | Кошница> одаберите сат ('2019-06-08 09:20:10'); резултат: 09 сати | Враћа сат времена |
5. Условне функције
| Ако је (Боолов тест, вредност Т тачна, т лажна) | Кошница> одаберите ИФ (1 = 1, 'ТРУЕ', 'ФАЛСЕ') као ИФ_ЦОНДИТИОН_ТЕСТ; | Провјерава са увјетом да ли је вриједност труе враћа 1, а фалсе фалсе 0. |
| Није нула (б) | Кошница> Одабери није нула (нулл); | Ово прима неваљане изјаве. ако нулл враћа фалсе. |
| Цоалесце (вредност1, вредност2) | Пример: кошница> одаберите коалесце (Нулл, нулл, 4, нулл, 6). враћа 4. | Прво се узимају нулане вредности са листе вредности. |
Б) Кориснички дефинисана функција (УДФ)
Осип користи функције прилагођене кориснику у складу са захтевима клијента, а то је записано у јава програмирању. Имплементирају га два интерфејса, наиме једноставан АПИ и сложени АПИ. Они се позивају на упит кошнице. Три врсте УДФ-а:
1. Редовна УДФ
Ради на столу са једним редом. Ствара се креирањем класе јава, а затим их пакује у .јар датотеку, следећи корак је верификација са кошницом. а затим их на крају изврши у питању кошнице.
2. Корисничка функција агрегатне функције
Они користе агрегатне функције попут авг / средње примјеном пет метода инит (), итерате (), дјеломични (), мерге (), терминате ().
3. Корисничко дефинисане функције генерисања табеле
Ради са једним редом у табели и резултира у више редова.
Закључак
Закључно смо научили како у овом чланку детаљно радити на платформи за кошнице са уграђеним функцијама и функцијама које су дефинисане од стране корисника. Већина организација има програмера и СКЛ програмера за рад на сервер-процесу, али апацхе кошница је моћан алат који им помаже да користе Хадооп оквир без претходног знања о програмима и смањивање мапа. Хиве помаже новим корисницима да започну и истражују анализу података без икаквих препрека.
Препоручени чланци
Ово је водич за функцију кошнице. Овдје смо расправљали о концепту, двије различите врсте функција и подфункцијама у кошници. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Функције горњих жица у кошници
- Питања за интервју са кошницом
- Шта је РМАН Орацле?
- Шта је модел водопада?
- Увод у архитектуру кошница
- Наредба кошнице