Функција кошнице - Различите врсте функција и потфункције у кошници

Шта је функција кошнице?

Као што знамо данас, Хадооп је једна од свестраних технологија у великим подацима. Хадооп има способност да се носи са великим подацима, али како је раст података пропорционалан, писање програма за смањивање мапа постаје тешко. За обављање СКЛ упита, присутних у ХДФС-у, једну такву технологију увео је Хадооп под називом апацхе Хиве коју је започео Фацебоок. Анализатор података веома користи кошницу. Они су распоређени за три функционалности, а то су: Сажетак података, анализа података о дистрибуираној датотеци и упит података. Хиве пружа СКЛ-ове упите зване ХКЛ - високи језик упита подржава ДМЛ, кориснички дефиниране функције. Компајлер Хиве интерно претвара овај упит у задатке за смањење мапе који поједностављују рад Хадоопа у писању сложених програма. Могли бисмо пронаћи кошницу у апликацији попут складиштења података, визуализације података и ад-хоц анализе, гоогле аналитицс. Кључна предност је што користе СКЛ знање које је основна вештина имплементирана од стране научника за податке и софтверских стручњака.

Детаљне функције кошнице

Хиве подржава различите типове података који се не налазе у другим системима база података. она укључује мапу, низ и структуру. Кошница има неке уграђене функције за обављање неколико математичких и аритметичких функција за посебне намене. Функције у кошници могу се сврстати у следеће врсте. Уграђене су функције и кориснички дефинисане функције.

А) Уграђене функције

Ове функције извлаче податке из таблица кошница и обрађују прорачуне. Неке од уграђених функција су:

1. Математичке / нумеричке функције

Ове функције се углавном користе за математичке прорачуне. Ове се функције користе у СКЛ упитима.

Назив функције	Пример	Опис
АБС (двоструко к)	Кошница> изаберите АБС (-200) из тмп-а;	Вратиће апсолутну вредност броја.
ЦЕИЛ (дупли к)	Кошница> одаберите ЦЕИЛ (8.5) из тмп-а;	Добиће најмањи цели број већи од или једнак вредности к.
Ранд (), ранд (инт семе)	Кошница> изаберите Ранд () од тмп; Ранд (0-9)	Враћа случајни број, зависи од вредности семена које би случајни бројеви били детерминирани.
Пов (двоструко к, двоструко и)	Осип> одаберите Пов (5, 2) од тмп;	Враћа к вредност подигнуту на снагу и.
КАТ (двоструко и)	Кошница> одаберите ФЛООР (11.8) од тмп;	Враћа максимални цео број мањи од или једнак да би дао вредност и.
ЕКСП (дупло а)	Кошница> изаберите Екп (30) из тмп-а;	Вратиће вредност експонента 30. природне вредности алгоритма.
ПМОД (инт а, инт б)	Кошница> изаберите ПМОД (2, 4) од тмп;	Даје позитиван модул броја.

2. Функције колекције

Избацивање свих елемената заједно и враћање појединих елемената овиси о укљученом типу података.

Назив функције	Пример	Опис
Мап_валуес (Мапа)	Кошница> одаберите вредности мапе ('хи', 45)	Дохваћа неуређене елементе низа.
Величина (мапа)	Кошница> одаберите величину (мапа)	Враћа број елемената на мапи типова података.
Арраи_цонтаинс (Низ б)	Кошница> одаберите арраи_цонтаинс (а (10))	Враћа ТРУЕ ако низ садржи вредност.
Сорт_арраи (Низ а)	Кошница> одаберите сорт_арраи ((10, 3, 6, 1, 7))	Поредава улазни низ у узлазном редоследу у складу с природним редоследом елемената низа и враћа вредност.

3. Гудачке функције

Кориштењем стринг функција се анализа података изводи изврсно.

Сплит (стринг с, пресвлачење низа)	Кошница> одаберите сплит ('едуцба ~ кошница ~ Хадооп, ' ~ ') излаз: ("едуцба", "кошница", "Хадооп")	Подељује низ око израза пат и враћа низ.
оптерећење (стринг с, инт Лен, јастучић за стринг)	Кошница> одаберите оптерећење ('ЕДУЦБА', 6, 'Х')	Враћа жице с десним паддингом дужином низа. (знак за пад).
Дужина (стринг стр)	Кошница> одаберите дужину ('едуцба')	Ова функција враћа дужину низа.
Ртрим (стринг а)	Кошница> одаберите ртрим ('ТОПИЦ'); Излаз: 'Тема'	Резултат враћа подрезивањем размака с десних крајева.
Цонцат (стринг м, стринг н)	Кућица> одаберите цонцат ('подаци', 'варе') Резултат: Датаваре	Резултат је у низу спајањем два низа, а ово може потрајати било који број улаза.
Обрнути (низови)	Кошница> одаберите преокрет ('мобилни')	Враћа резултат обрнутог низа.

4. Функција датума
Неопходно је имати формат података у кошници да се спречи Нулл еррор у излазу. Неопходно је имати компатибилност датума да бисте приступили функцијама датуми кошнице.

Уник_тиместамп (датум низа, низ низа)	Кошница> одаберите временску ознаку Уник_ ('2019-06-08', 'гггг-мм-дд'); Резултат: 124576 400 трајање времена: 0.146 секунди	Ова функција враћа датум у одређени формат и враћа секунде између датума и Уник времена.
Уник_тиместамп (датум стринга)	Кошница> одаберите временску ознаку Уник_ ('2019-06-08 09:20:10', 'гггг-мм-дд');	Датум враћа у 'гггг-ММ-дд ХХ: мм: сс' формату у временску ознаку Уник.
Сат (датум струне)	Кошница> одаберите сат ('2019-06-08 09:20:10'); резултат: 09 сати	Враћа сат времена

5. Условне функције

Ако је (Боолов тест, вредност Т тачна, т лажна)	Кошница> одаберите ИФ (1 = 1, 'ТРУЕ', 'ФАЛСЕ') као ИФ_ЦОНДИТИОН_ТЕСТ;	Провјерава са увјетом да ли је вриједност труе враћа 1, а фалсе фалсе 0.
Није нула (б)	Кошница> Одабери није нула (нулл);	Ово прима неваљане изјаве. ако нулл враћа фалсе.
Цоалесце (вредност1, вредност2)	Пример: кошница> одаберите коалесце (Нулл, нулл, 4, нулл, 6). враћа 4.	Прво се узимају нулане вредности са листе вредности.

Б) Кориснички дефинисана функција (УДФ)

Осип користи функције прилагођене кориснику у складу са захтевима клијента, а то је записано у јава програмирању. Имплементирају га два интерфејса, наиме једноставан АПИ и сложени АПИ. Они се позивају на упит кошнице. Три врсте УДФ-а:

1. Редовна УДФ

Ради на столу са једним редом. Ствара се креирањем класе јава, а затим их пакује у .јар датотеку, следећи корак је верификација са кошницом. а затим их на крају изврши у питању кошнице.

2. Корисничка функција агрегатне функције

Они користе агрегатне функције попут авг / средње примјеном пет метода инит (), итерате (), дјеломични (), мерге (), терминате ().

3. Корисничко дефинисане функције генерисања табеле

Ради са једним редом у табели и резултира у више редова.

Закључак

Закључно смо научили како у овом чланку детаљно радити на платформи за кошнице са уграђеним функцијама и функцијама које су дефинисане од стране корисника. Већина организација има програмера и СКЛ програмера за рад на сервер-процесу, али апацхе кошница је моћан алат који им помаже да користе Хадооп оквир без претходног знања о програмима и смањивање мапа. Хиве помаже новим корисницима да започну и истражују анализу података без икаквих препрека.

Препоручени чланци

Ово је водич за функцију кошнице. Овдје смо расправљали о концепту, двије различите врсте функција и подфункцијама у кошници. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -