Увод у ХДФС команде
Велики подаци су реч за скупове података који су толико огромни или сложени да конвенционални апликативни софтвер за обраду података није довољан да се с њима склапа уговор. Хадооп је програмски оквир базиран на Јавном отвореном извору и који повезује простор за обраду и складиштење огромно гломазних скупова података у дистрибуираном рачунарском окружењу. Основа софтвера Апацхе кључ је за инсталирање Хадоопа
Карактеристике ХДФС-а:
- ХДФС ради на Мастер / славе архитектури
- Датотеке ХДФС користе за складиштење података повезаних с корисником
- садржи огроман скуп директоријума и датотека који се чувају у хијерархијском формату.
- Са унутрашње стране, датотека се дели на мање блокове и ти се блокови чувају у сету Датанодес-а.
- Наменоде и Датаноде су део софтвера који је намењен за рад на машинама производа који се класично раде на ГНУ / Линук ОС-у.
Наменоде:
- Овде се датотечни систем одржава помоћу чвора наме
- Наменоде је такође одговоран за евидентирање свих промена у систему датотека, осим тога одржава слику целокупног простора назива датотека и Блок мапу датотеке у меморији
- Контролна тачка врши се периодично. стога се лако може вратити у фазу пре него што се овде може постићи тачка судара.
Датаноде:
- Датаноде пружа податке у датотекама у свом локалном датотечном систему
- Да би интимио о свом постојању, чвор података шаље откуцаје срца у наменоде
- Извештај о блокади биће генерисан за сваки десети примљени откуцај срца
- Репликација се подразумијева на податке похрањене у тим чворовима података
Репликација података:
- Овде редослед блокова формира датотеку са заданом величином блока од 128 МБ
- Сви блокови у датотеци осим финалног су сличне величине.
- Од сваког чвора података у кластеру, елемент наменоде прима откуцаје срца
- БлоцкРепорт садржи све блокове на Датаноде.
- садржи огроман скуп директоријума и датотека који се чувају у хијерархијском формату.
- Са унутрашње стране, датотека се дели на мање блокове и ти се блокови чувају у сету Датанодес-а.
- Наменоде и Датаноде су део софтвера који је намењен за рад на машинама производа који се класично раде на ГНУ / Линук ОС-у.
Трагач посла: ЈобТрацкер расправља са НамеНоде како би закључио положај података. Такође пронађите најбоље ТаскТрацкер чворове који ће извршавати задатке засноване на локалитету података
Трагач задатака: ТаскТрацкер је чвор у кластеру који прихваћа задатке - операције мапирања, смањења и померања - са ЈобТрацкер-а.
Чвор секундарног назива (или) контролне точке: Добива ЕдитЛог из чвора имена у правилним интервалима и односи се на његову ФС слику. И копирање довршене ФС слике на чвор имена током поновног покретања. Намена чвора секундарног имена је да има контролну тачку у ХДФС-у.
ПРИЈА:
- ИАРН има централну компоненту управитеља ресурса која управља ресурсима и додељује ресурсе свакој апликацији.
- Овде је Ресоурце Манагер главни рачунар који подешава ресурсе повезане са кластером, управитељ ресурса је састављен од две компоненте, управитеља апликација и планера. Ове две компоненте заједно управљају пословима на системима кластера. друга компонента позива Ноде Манагер (НМ) који је одговоран за управљање корисничким пословима и токовима рада на одређеном чвору.
- Тачна репликација података у активном Наменоду држи Стандби НамеНоде. Дјелује као роб, одржава довољно стања за брзо снабдјевање погрешкама, ако је неопходно.
Основне ХДФС команде:
|
Основне ХДФС команде |
||
| Ср.Но | ХДФС Команда својства | ХДФС Цомманд |
| 1 | Испиши хадооп верзију | $ хадооп верзија |
| 2 | Листа садржаја коријенског директорија у ХДФС-у | $ хадооп фс -лс |
| 3 | Извештавајте количину коришћеног простора и доступност у тренутно монтираном датотечном систему | $ хадооп фс -дф хдфс: / |
| 4 | ХДФС балансер поново уравнотежује податке кроз ДатаНодес, премештајући блокове са прекомерно искориштених ка чворовима који се недовољно користе. | $ хадооп баланс |
| 5 | Команда за помоћ | $ хадооп фс -помоћ |
Интермедијске ХДФС команде:
|
Интермедијске ХДФС команде |
||
| Ср.Но | ХДФС Команда својства | ХДФС Цомманд |
| 6 | креира директориј на наведеној ХДФС локацији | $ хадооп фс -мкдир / корисник / цлоудера / |
| 7 | Копира податке са једне локације на другу | $ хадооп фс - улазни подаци / сампле.ткт / корисник / тренинг / хадооп |
| 8 | Погледајте простор који заузима одређени директориј у ХДФС-у | $ хадооп фс -ду -с -х / усер / цлоудера / |
| 9 | Уклоните директориј у Хадоопу | $ хадооп фс -рм -р / корисник / цлоудера / пигјобс / |
| 10 | Уклања све датотеке у датом директорију | $ хадооп фс -рм -скипТрасх хадооп / малопродаја / * |
| 11 | Да испразните смеће | $ хадооп фс -поправљање |
| 12 | копира податке с локалног на ХДФС | $ хадооп фс -цопиФромЛоцал / дом / цлоудера / узорак / / усер / цлоудера / флуме /
$ хадооп фс -цопиТоЛоцал / корисник / цлоудера / пигјобс / * / хоме / цлоудера / оозие / |
Напредне команде ХДФС:
|
Интермедијске ХДФС команде |
||
| Ср.Но | ХДФС Команда својства | ХДФС Цомманд |
| 13 | промените дозволе за датотеке | $ судо -у хдфс хадооп фс -цхмод 777 / корисник / цлоудера / флуме / |
| 14 | подесите фактор репликације података за датотеку | $ хадооп фс -сетреп -в 5 / корисник / цлоудера / пигјобс / |
| 15 | Бројите директоријуме, датотеке и бајтове под хдфс-ом | $ хадооп фс -цоунт хдфс: / |
| 16 | учини да наменоде постоје у сигурном режиму | $ судо -у хдфс хдфс дфсадмин -сафемоде оставите |
| 17 | Хадооп форматира наменоде | $ хадооп наменски -формат |
ХДФС савети и савети:
1) Бржи опоравак можемо постићи када је број чворова кластера већи.
2) Повећање складиштења по јединици времена повећава време опоравка.
3) Наменоде хардвер мора бити веома поуздан.
4) Софистицирани надзор се може постићи амбасадом.
5) Гладовање у систему може се смањити повећањем броја редуктора.
Препоручени чланци
Ово је водич за ХДФС команде. Овде смо разговарали о ХДФС командама, функцијама, основним, средњим и напредним командама са сликовним приказом, саветима и триковима о командама. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Команде чворова
- Матлаб Цоммандс
- Предности ДБМС
- Хадооп екосистем
- Хадооп фс команде