Увод у животни циклус података о науци
Животни циклус података се врти око коришћења машинског учења и других аналитичких метода за добијање увида и предвиђања из података у циљу постизања пословног циља. Цео процес укључује неколико корака попут чишћења података, припреме, моделирања, процене модела итд. То је дуг процес и може потрајати неколико месеци. Дакле, врло је важно да имате општу структуру за сваки проблем. Глобално призната структура у решавању било којег аналитичког проблема назива се цросс индустријски стандардни процес за вађење података или ЦРИСП-ДМ оквир.
Животни циклус науке о подацима
Испод је пројекат Животни циклус података.
1. Пословно разумевање
Читав циклус се врти око пословног циља. Шта ћете решити ако немате прецизан проблем? Изузетно је важно да пословни циљ схватите јасно јер ће то бити ваш крајњи циљ анализе. Само уз правилно разумевање, можемо поставити конкретан циљ анализе који је у складу са пословним циљем. Морате знати да ли клијент жели да смањи кредитни губитак, или да ли жели да предвиди цену робе, итд.
2. Разумевање података
Након пословног разумевања, следећи корак је разумевање података. Ово укључује прикупљање свих доступних података. Овде треба да уско сарађујете са пословним тимом, јер су они заправо свесни који подаци постоје, који би се подаци могли користити за овај пословни проблем и друге информације. Овај корак укључује описивање података, њихову структуру, релевантност, врсту података. Истражите податке помоћу графичких цртежа. У основи, издвајање било каквих података које можете добити о подацима само истраживањем података.
3. Припрема података
Следи фаза припреме података. Ово укључује кораке попут одабира релевантних података, интегрирања података спајањем скупа података, чишћења, третирања недостајућих вриједности било уклањањем или импутацијом, третирања погрешних података уклањањем, такођер провјеравања постојања отпада користећи цртеже оквира и руковања с њима . Конструишући нове податке, извлачите нове карактеристике из постојећих. Форматирајте податке у жељену структуру, уклоните нежељене ступце и функције. Припрема података је најпотребнији, али засигурно најважнији корак у читавом животном циклусу. Ваш модел ће бити добар као и ваши подаци.
4. Истраживачка анализа података
Овај корак укључује добијање неке идеје о решењу и факторима који утичу на њега, пре него што изградите стварни модел. Расподјела података унутар различитих варијабли обиљежја графички се истражује помоћу бар-графова, а односи између различитих обиљежја биљеже се графичким приказима попут расипних плоха и топлотних мапа. Многе се друге технике визуелизације података користе у широкој употреби за истраживање сваке карактеристике појединачно и комбинацијом ис другим карактеристикама.
5. Моделирање података
Моделирање података је срце анализе података. Модел узима припремљене податке као улаз и пружа жељени излаз. Овај корак укључује одабир одговарајуће врсте модела, било да је проблем класификацијски проблем, или регресијски проблем или проблем кластерирања. Након одабира породице модела, између различитих алгоритама међу том породицом, морамо пажљиво бирати алгоритме за њихову имплементацију и примену. Морамо да прилагодимо хиперпарамере сваког модела да бисмо постигли жељене перформансе. Такође морамо да осигурамо да постоји тачна равнотежа између перформанси и генерализације. Не желимо да модел научи податке и лоше ради на новим подацима.
6. Процена модела
Овде се модел оцењује ради провере да ли је спреман за употребу. Модел се тестира на невиђеним подацима, процењује се на пажљиво осмишљеном скупу мерила вредновања. Морамо такође да се уверимо да ли модел одговара стварности. Ако у евалуацији не добијемо задовољавајући резултат, морамо поново поновити целокупни процес моделирања док се не постигне жељени ниво метрике. Свако решење науке о подацима, модел машинског учења, баш попут људског, требало би да се развија, требало би да буде у могућности да се побољшава новим подацима, да се прилагоди новој оцењивачкој метрици. За одређену појаву можемо изградити више модела, али многи од њих могу бити несавршени. Процјена модела нам помаже да одаберемо и изградимо савршен модел.
7. Примена модела
Модел након ригорозне процене коначно је распоређен у жељеном формату и каналу. Ово је последњи корак у животном циклусу науке о подацима. Сваки корак у животном циклусу науке о подацима који је горе објашњен треба пажљиво радити. Ако се било који корак изврши неправилно, то ће на тај начин утицати на следећи корак и читав напор иде на губитак. На пример, ако се подаци не прикупе правилно, изгубит ћете информације и нећете правити савршен модел. Ако се подаци не очисте правилно, модел неће радити. Ако се модел не процени правилно, у стварном свету ће пропасти. Од пословног разумевања до примене модела, сваком кораку треба посветити одговарајућу пажњу, време и труд.
Препоручени чланци
Ово је водич за Дата Сциенце Лифецицле. Овдје смо расправљали о прегледу животног циклуса науке о подацима и корацима који чине животни циклус науке о подацима. Можете и да прођете кроз наше повезане чланке да бисте сазнали више -
- Увод у алгоритме науке о подацима
- Дата Сциенце вс Софтваре Енгинееринг | Топ 8 корисних поређења
- Различите врсте техника науке о подацима
- Вештине научних података са типовима