Увод у Скооп команде

У наредбама Скооп сваки се ред третира као евиденција, а задатци се пододељено подељују помоћу Мап Таск Интернал. Базе података које подржава скооп су МИСКЛ, Орацле, ИБМ, ПостгреСКЛ. Скооп пружа једноставну командну линију, можемо добити податке из различитих база података путем скооп наредби. Написани су на Јави и користи ЈДБЦ за повезивање с другим базама података.

То је 'СКЛ то Хадооп' и Хадооп то СКЛ и алат отвореног кода. То је апликацијско средство за повезивање које преноси скупне податке између система релационих база података и Хадоопа (Хиве, смањење мапа, Махоут, Свиња, ХБасе). Омогућавају корисницима да одреде циљну локацију унутар Хадоопа и направе квадрат за премјештање података из РДМС-а у циљано. Омогућавају оптимизиране МиСКЛ конекторе који користе АПИ специфичан за базу података да би у потпуности обављали скупно пренос. Корисник увози податке из вањских извора попут Хиве или Хбасе. Сквоп има два формата датотека: ограничени формат текстуалне датотеке и формат датотеке секвенце.

Ево основних наредби Скооп команди:

  1. Листа табела:

Ова наредба наводи посебну табелу базе података на МИСКЛ серверу.

Пример:

  1. Циљни директориј:

Ова таблица увоза наредби у одређеном директорију у ХДФС-у. -м означава аргумент мапирања. Имају целу вредност.

Пример:

  1. Заштита лозинке:

Пример:

  1. скооп-евал:

Ова наредба брзо покреће СКЛ упите одговарајуће базе података.

Пример:

  1. скооп - верзија:

Ова наредба приказује верзију скооп-а.

Пример:

  1. скооп-посао

Ова наредба омогућава нам креирање посла, параметри који се креирају могу се позвати у било којем тренутку. Они узимају опције попут (– креирај, –понови, –појави, –излази).

Пример:

  1. Учитавање ЦСВ датотеке у СКЛ:

Пример:

  1. Конектор:

Пример:

  1. кодни ген:

Ова наредба Скооп ствара датотеке класе јава које обрубе увезене записе. Све јава датотеке су поново креиране и генериране су нове верзије класе. Они генерирају код за интеракцију са записима базе података. Дохваћа листу свих колона и њихових типова података.

Пример:

10.Листва-база података:

Списке наредби Скооп имају сву доступну базу података у РДБМС серверу.

пример:

Интермедијарне наредбе Скооп команде:

1.скооп -мета трговина:

Ова наредба садржи заједничко спремиште метаподатака. Више / удаљени корисници могу покренути неколико послова.

Команда:

$ скооп .метасторе.цлиент.аутоцоннецт.урл

пример: јдбц: хсклдб: хскл: // метасторе .екампле.цом / скооп

2. скооп -хелп:

Ова команда наводи алате доступне у скоопу и њихову сврху.

Команда:

$ скооп помоћ

$ бин / скооп помаже у увозу

3. Извоз:

Ова наредба извози податке са ХДФС-а у РДМС базу података. У ХДФС-у се подаци чувају као записи.

Команда:

$ скооп екпорт \ –повезати јдбц: мискл: // лоцалхост / инвентар - корисничко име јони –табле либ –екпорт -дир / усер / јони / инвентар.

4. Уметни:

Ова наредба убацује нови запис из ХДФС-а у РДБМС табелу.

Команда

$ скооп екпорт –повезати ЈДБЦ: МиСКЛ: // лоцалхост / скооп_екпорт - табела емп_екпортед –екпорт -дир / скооп / невемп -м -000

5. Ажурирајте:

Ова наредба Скооп ажурира записе у РДБМС-у из ХДФС података.

Команда

$ скооп извоз –повезати ЈДБЦ: МиСКЛ: // лоцалхост / скооп_екпорт - табела емп_екпортед –екпорт -дир / скооп / невемп -м -000 –упдате -кеи ид

6. Опција серије:

Ова команда убацује више редова заједно, они оптимизирају брзину уметања користећи Скооп ЈДБЦ погонитељ.

Команда

$ скооп екпорт \ -цоннецт ЈДБЦ: МиСКЛ: // име домаћина / –корисничко име -пассворд-експорт -дир

7. Сплит:

Када се користи ова наредба, реченица се примењује на читав СКЛ.

Команда

$ скооп импорт -Д мискл: // јдбц: // где.цлаусе.лоцатион = СПЛИТ –табле ЈУНК - где је „ровнум <= 12“

8. АВРО датотека у ХДФС:

Они чувају РДБМС податке као Авро датотеку.

Команда

$ скооп импорт –повезати ЈДБЦ: МиСКЛ: // лоцалхост / Ацадгилд –коријенски назив –половица пп.34 –предаја плаћања -м1 –таргет -дир / скооп_дата / Паимент / авро / == ас -авродатфиле.

Напредне команде Скооп команди:

Команде увоза:

Наредбе за увоз имају аргументе контроле увоза. различити аргументи су следећи:

  • граница: користи се за стварање слојева.
  • као - текстуална датотека: увози податке обичног текста
  • -колумне (: ступци увоза за табелу)
  • -м, - нум: да увезете паралелне задатке мапирања
  • сплит-би: Подељује ступац табеле
  • -з, - компресија: компресија података је омогућена.

Аргумент повећања увоза:

  • цхецк - колона: Означава ступце да би одредио које редове треба увозити.
  • инкрементални (мод): означава нове редове (укључују додавање и последње измене редака)

Аргументи излазне линије:

  • линије -терминед -би: Они постављају еол карактер
  • МиСКЛ - разграничари: они постављају \ н поља: линије:

Увоз у кошницу

-кошница - увоз: Увозе таблице у кошницу

-хиве - кључ партиције: Име партиције је дељено.

-хиве - пребрисати: преписују податке у постојећу табелу.

Увоз у аргументе Хбасе:

-аццумуло-табле: Ово специфицира циљну таблицу у ХБасе.

-аццумуло-Цолумн: Да бисте га увезли, поставља циљни ступац.

-аццумуло -: Увоз имена акумулације

–Аццумуло -: Да бисте увезли лозинку акумулатора

Чување у датотекама секвенце:

$ скооп импорт -цоннецт јдбц: мискл: //дб.фоо.цом/емп -табле инвентар \ - име класе цом.фоо.цом.Инвентори -ас - редослед датотеке

Увоз упита:

Ова наредба специфицира израз Скл аргументом -куери.

$ скооп импорт \ –упитај „СЕЛЕЦТ а. *, б. * од ЈОИН б на (а.ид = б.ид) где $ услови '\ -сплит - би / таргет-дир / усер

Повећани извоз:

$ скооп експорт –повезати –изменичан –корисник –половица –инкрементација –изврши ред –редња вредност

Увоз свих таблица у ХДФС:

$ скооп импорт -алл - табле –повезује јдбц: мискл: // лоцалхост / сале_дб - роот корисника.

Увоз података у кошницу:

$ скооп импорт –цоннецт –табле –усернаме –пассворд –хиве –импорт - хиве -табле

Увоз података у ХБасе:

команда:

$ скооп импорт –цоннецт –табле –усернаме –пассворд –хиве –импорт - ХБасе -табле

Кодирање нулл вриједности:

команда:

$ мискл импорт \ –повезати ЈДБЦ: МиСКЛ: //мискл.ек.цом/скооп \ –корисник скооп \ -пассворд скооп \ –таблица либ \ –нулл -стринг '

Савјети и трикови за кориштење Скооп наредби:

Ако желимо да ефективно извршавамо податковне операције, тада морамо да користимо скооп, само кроз једну командну линију можемо извршити много задатака и поткњига у њему. Скооп се путем конектора повезује на различите релацијске базе података, а они користе ЈДБЦ управљачки програм за интеракцију с њим. Будући да скооп ради на сопственом извору, можемо извршити скооп без поступка инсталације. Извођење скооп-а је једноставно, јер се извршавају подаци паралелно. Коришћењем Мапе редукције можемо увести и извозити податке, што заузврат омогућава паралелно извршавање.

Закључак - Скооп команде:

За закључак, Скооп Цоммандс регулише поступак увоза и извоза података. Скооп пружа могућност ажурирања делова таблице помоћу инкременталног оптерећења. Увоз података у скооп није темељен на догађајима. А ту је и скооп2 с омогућеним ГУИ-ом за лак приступ, заједно са командном линијом. Пренос података је брз док се паралелно преносе. Они играју виталну улогу у Хадооп окружењу. Они свој посао раде сами, није потребно док увозе мале скупове података.

Препоручени чланци

Ово је водич за Скооп команде. Овде смо разговарали о основним, као и напредним Скооп командама и неким непосредним Скооп командама. Такође можете погледати следећи чланак да бисте сазнали више -

  1. Питања и одговори за интервју са Скооп-ом
  2. СКЛ (шифре, бесплатни савети и трикови)
  3. Важне ВБА команде
  4. Команде Таблеау

Категорија:

Велики података