Увод у прераду података у машинском учењу

Предобрада података у машинском учењу начин је претварања података из необрађеног облика у много форматиранији, неупотребљиви или жељени облик. То је интегрални задатак машинског учења који обавља научник података. Како су прикупљени подаци у сировом формату, можда није изведиво обучити модел користећи га. Важно је пажљиво обрадити ове необрађене податке да би се од њих направила одговарајућа интерпретација и коначно избегли било какав негативан резултат у предвиђању. Укратко, квалитет нашег алгоритма за учење у великој мери зависи од врсте скупа података којима смо се користили како бисмо убацили модел, тако да се за одржавање тог квалитета користи претходна обрада података.

Подаци прикупљени за обуку модела су из различитих извора. Ови прикупљени подаци су обично у свом необрађеном формату, тј. Могу имати звукове попут несталих вредности и релевантних информација, бројева у формату низа итд. Или могу бити неструктурирани. Предобрада података повећава ефикасност и тачност модела машинског учења. Као што помаже у уклањању ових бука из скупа података и дата скупу података

Шест различитих корака укључених у машинско учење

Следи шест различитих корака који су обухваћени машинским учењем за обављање предобраде података:

1. корак: Увоз библиотека

Корак 2: Увези податке

Корак 3: Провера недостајућих вредности

Корак 4: Провера категоријских података

Корак 5: Скалирање значајки

Корак 6: Подељивање података у скупове тренинга, валидације и евалуације

Да разумемо сваки од ових корака у детаље:

1. Увоз библиотека

Први корак је увоз неколико важних библиотека које су потребне за претходну обраду података. Библиотека је збирка модула који се могу позвати и користити. У питхону имамо пуно библиотека које су корисне у претходној обради података.

Неколико следећих важних библиотека у питхону су:

  • Нумпи: Библиотека се углавном користи за примену или коришћење компликованог математичког рачунања машинског учења. Корисно је у обављању операције на вишедимензионалним низовима.
  • Пандас : То је библиотека отворених извора која пружа високе перформансе и једноставне за употребу структуре података и алата за анализу података у питхон-у. Дизајниран је на начин да рад са односом и обележеним подацима буде једноставан и интуитиван.
  • Матплотлиб: То је библиотека за визуелизацију коју пружа питхон за 2Д цртеже о низу. Грађен је на нумерираном низу и дизајниран је за рад са ширим снопом Сципи. Визуализација скупова података корисна је у сценарију у којем су доступни велики подаци. Парцеле доступне у матплот либ-у су линије, шипке, расипање, хистограм итд.
  • Сеаборн: То је такође библиотека за визуелизацију коју даје питхон. Омогућава интерфејс на високом нивоу за цртање атрактивних и информативних статистичких графикона.

2. Увези скуп података

Једном када се библиотеке увезе, наш следећи корак је учитавање прикупљених података. Пандас библиотека користи се за увоз ових скупова података. Углавном су скупови података доступни у ЦСВ форматима јер су мале величине, што их чини брзим за обраду. Дакле, учитати цсв датотеку користећи реад_цсв функцију библиотеке панде. Различити су други формати скупа података који се могу видети

Након учитавања скупа података морамо га прегледати и тражити да ли постоји бука. Да бисмо то учинили, морамо креирати матрицу карактеристика Кс и вектор посматрања И у односу на Кс.

3. Провера недостајућих вредности

Једном када створите матрицу значајки можда ћете пронаћи неке вредности које недостају. Ако то не решимо, то може да створи проблем у време тренинга.

Постоје две методе руковања недостајућим вредностима:

  1. Уклањање целог ретка који садржи вредност која недостаје, али постоји могућност да можда изгубите неке виталне информације. Ово може бити добар приступ ако је величина скупа података велика.
  2. Ако бројчани ступац има вриједност која недостаје, тада можете процијенити вриједност узимајући средњу, средњу, мод, итд.

4. Провера категоријских података

Подаци у скупу података морају бити у нумеричком облику како би се на њима могло извршити рачунање. Будући да модели машинског учења садрже сложене математичке прорачуне, не можемо им дати не-нумеричку вредност. Дакле, важно је претворити све вредности текста у нумеричке вредности. ЛабелЕнцодер () класа научених користи се за прекривање ових категоријских вредности у нумеричке вредности.

5. Скалирање функција

Вриједности необрађених података изузетно се разликују и могу резултирати пристраним тренингом модела или могу повећати рачунске трошкове. Зато је важно да их нормализују. Скалирање карактеристика је техника која се користи за спуштање вредности података у краћем опсегу.

Методе које се користе за скалирање карактеристика су:

  • Размеравање (мин-мак нормализација)
  • Средња нормализација
  • Стандардизација (З-нормализација)
  • Скалирање на јединицу дужине

6. Подељивање података у групе за обуку, валидацију и евалуацију

Коначно, морамо да поделимо наше податке у три различита скупа, сет за тренирање модела, сет за валидацију за валидацију тачности нашег модела и коначно тест сет за тестирање перформанси нашег модела на генеричким подацима. Пре подељивања скупа података, важно је помешати сет података да бисте избегли пристраности. Идеалан удео за поделу скупа података је 60:20:20, односно 60% као сет за тренирање, 20% као сет теста и валидације. Да бисте поделили скуп података, двапут користите воз_тест_сплит из склеарн.модел_селецтион. Једном поделите скуп података на скуп влакова и проверу, а затим поделите преостали низ података влакова на сет влака и тест.

Закључак - Обрада података у машинском учењу

Предобрада података је нешто што захтева праксу. Није попут једноставне структуре података у којој директно учите и примењујете се за решавање проблема. Да бисте стекли добро знање о томе како очистити скуп података или како визуализовати свој податковни скуп, морате да радите са различитим скуповима података.

Што више користите ове технике, то ћете боље разумети. Ово је била општа идеја о томе како обрада података игра важну улогу у машинском учењу. Упоредо са тим, видели смо и кораке потребне за претходну обраду података. Дакле, следећи пут пре него што обучите модел користећи прикупљене податке, обавезно примените претходну обраду података.

Препоручени чланци

Ово је водич за прераду података у машинском учењу. Овдје смо разговарали о уводу, шест различитих корака укључених у машинско учење. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -

  1. Важност вештачке интелигенције
  2. ИоТ технологија
  3. Врсте података ПЛ / СКЛ
  4. Типови података за кошнице
  5. Р Типови података

Категорија:

Велики података