Увод у Кафка алате
Кафка Тоолс је колекција разних алата помоћу којих можемо управљати нашим Кафка кластером. Алат се углавном заснива на командној линији, али доступни су и алати засновани на корисничком сучељу који се могу преузимати и инсталирати.
Кафка алате можемо користити за обављање различитих операција попут:
- Наведи доступне кластере Кафке и њихове посреднике, теме и потрошаче.
- Може да штампа поруке из различитих тема на стандардном излазу. Алати засновани на корисничком сучељу дефинитивно могу пружити бољу читљивост.
- Додајте и одбаците теме од брокера.
- Додајте нове поруке у партиције.
- Погледајте све компензације наших потрошача.
- Креирајте партиције наших тема.
- Листа свих група потрошача, опишите групе потрошача, избришите информације о групи потрошача и ресетујте одступања од групе потрошача.
Ако желимо да користимо алат заснован на корисничком сучељу, можемо да користимо Кафка алатку која се може преузети са следеће веб странице:
хттп://ввв.кафкатоол.цом/довнлоад.хтмл
Ова апликација је доступна за личну употребу бесплатно, али морамо купити лиценцу за комерцијалну употребу. Добра ствар у томе је његова доступност за Мац, Виндовс и Линук системе.
3 најбоље врсте алата Кафка
Кафка алати су категорисани у системске алате и алате за апликације.
1. Системски алати
Системске алате можете покренути помоћу следеће Синтакса.
Синтакса:
bin/kafka-run-class.sh package.class - - options
Неки од системских алата су следећи:
- Алат за миграцију Кафке : Овај алат се користи за миграцију Кафка Брокера са једне верзије на другу.
- Цонсумер Оффсет Цхецкер: Овај алат може приказати групе потрошача, теме, партиције, офф-сет, логСизе, власника за одређени скуп тема и потрошачке групе.
- Израда огледала: Овај алат се користи за зрцаљење једног Кафка кластера у други.
2. Алати за репликацију
Ово су у основи дизајнерски алати високог нивоа који се пружају за трајност и доступност.
Неки од алата за репликацију су:
- Алат за креирање теме : Овај алат се користи за креирање тема са заданим бројем партиција и фактором репликације.
- Алат за тему листе: користи се за уврштавање података за одређену листу тема. Сјајна ствар овог алата је та што ако ниједна тема већ није доступна у командној линији, она ће затражити од Зоокерара да прво преузме листу тема, а затим штампа информације о њима. Наводи се у разним пољима као што су назив теме, партиције, вођа, реплике итд.
- Алат за додавање партиција : Овај алат се користи за додавање партиција у тему која је потребна да би се обрађивао раст обима података у теми. Али имајте на уму да, морамо креирати партиције током креирања теме. Овај алат омогућава нам да додамо ручне реплике за додате партиције.
3. Разни алати
Сада ћемо разговарати о неким другим алатима:
а. Алат за теме Кафка
Овај алат се користи за креирање, листа, измена и описивање тема.
Пример: Стварање теме: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
б. Алат Кафка-Конзола-Потрошач
Овај алат се може користити за читање података из Кафка тема и записивање на стандардни излаз
Пример: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
ц. Алат Кафка-произвођач конзола
Овај алат се може користити за писање података у Кафка Тема из Стандардног излаза.
Пример: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
д. Алат за групе потрошача Кафка
Овај алат се може користити за попис свих група потрошача, описивање групе потрошача, брисање података о групи потрошача или ресетовање компензација група потрошача. Овај алат се углавном користи за описивање група потрошача и уклањање погрешака у вези са проблемима око компензације потрошача.
Пример: Преглед одступања на незаштићеном кластеру: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Кафка Арцхитецтуре
Разне компоненте алата Кафка
Главне компоненте Кафке су следеће:
1. Брокер
Сваки чвор у кластеру Кафке је брокер који чува податке. Обично постоји више брокера како би се терет правилно уравнотежио. Брокер складишти поруке у облику тема којима могу приступити произвођачи (за писање) и потрошачи (за читање). Теме су створене да би се подаци једне апликације одвојили од других. Како су брокери без држављанства, њима је потребна помоћ Зоокера да одржавају своје стање кластера. Један брокер може обрадити ТБ поруке без икаквог утицаја на перформансе. Изборе лидера Кафке брокера обавља Зоокеепер.
2. Произвођач
То је јединица која гура поруке брокерима. Може бити више произвођача који генеришу податке врло великом брзином и независно један од другог. Произвођачи не добијају потврду од брокера и шаљу податке брзином којом се брокери могу бавити. Они су у стању да претражују брокере и почињу да шаљу поруке чим брокери почну. Продуцент је одговоран за одабир поруке која ће се додијелити тој партицији унутар теме. То се може учинити на начин окретања роба једноставно да се уравнотежи оптерећење или се то може обавити према некој семантичкој функцији партиције (рецимо на основу неког кључа у поруци).
3. Зоокеепер
Јединица је која управља и координира брокере. Зоокеепер обавјештава произвођача или потрошача у случају додавања или неуспјеха брокера. Сваки брокер редовно шаље захтеве за откуцаје срца док је жив. Зоокеепер такође одржава информације о темама и надокнадама потрошача.
4. Потрошач
То је јединица која чита поруке из тема. Потрошач се може претплатити и читати из више тема. Потрошач може радити паралелно са осталим потрошачима (у овом случају сваку партицију ће читати само један потрошач) формирајући потрошачку групу. Не ради у синхронизацији са произвођачима. Потрошач мора одржавати колико је порука прочитао користећи оффсет партиције. Ако потрошач прихвати одређени оффсет партиције, то подразумијева да је већ потрошио претходне поруке у партицији.
Закључак
У овом чланку смо научили како можемо користити разне Кафка алате за ефикасно управљање нашим кафка кластером. Такође смо сазнали за различите компоненте екосистема Кафка и како оне међусобно делују.
Препоручени чланци
Ово је водич за алате Кафка. Овде смо расправљали о врстама алата Кафка, разним компонентама Кафке заједно са Кафка архитектуром. Такође можете погледати следећи чланак да бисте сазнали више -
- Топ Кафка апликације
- Објашњење велике архитектуре података
- Врхунски алати за науку о подацима
- Разлике између Кафке и Спарк-а