Увод у информационо машинско учење о подацима
Подаци су у основи информације, посебно чињенице или бројеви, сакупљени како би се испитали и разматрали и користили за помоћ у одлучивању или информацијама у електроничком облику које рачунар може похранити и користити. Сада ћемо научити дефиницију науке о подацима и машинском учењу.
Наука података (ДС) : То је веома широко поље где се користе различите технике попут статистичких метода, научних приступа, архитектонских процеса, различитих алгоритама да би се из доступних података извукли увидљиви подаци који могу бити или структурирани подаци или неструктурирани подаци.
Машинско учење ( МЛ ): То је подскуп података о науци. У машинском учењу у основи уз помоћ статистичких модела и различитих алгоритама, машине се обучавају без давања експлицитних упутстава, ослања се на обрасце створене подацима. "
Важност науке о подацима
- Живимо у доба технологије у којем свака особа на неки други начин користи технологију за удобност / ефикасност / лакоћу, на пример, мобител / преносни рачунари / таблети за комуникацију, аутомобили / возови / аутобуси / авиони за превоз, услуге попут банкарство / струја и још много тога за лакши живот.
- У свакој таквој пригоди стварамо податке свесно или несвесно, као што су евиденција позива / текстови / друштвени медији - слике / видеозаписи / блогови све су део података, а превозом се креће и наша навигација до различитих локација помоћу ГПС / перформансе возила снимљене кроз ЕЦУ део података. Наше трансакције у банкарским и мобилним новчаницима стварају огромну количину података, потрошња електричне енергије у било којем подручју или сектору такође је део података.
- И да кажем да се ти подаци експоненцијално повећавају из дана у дан или из минута у минуту.
- Сада се поставља питање може ли нешто учинити са овим подацима? Можемо ли користити те податке да пружимо неке корисне увиде? Можемо ли повећати ефикасност? Можемо ли користити ове податке да предвидимо будуће исходе?
- Да бисмо одговорили на сва таква питања, имамо поље које се зове наука о подацима.
- Наука података може се сматрати широким пољем које садржи вађење података, инжењеринг података, визуализацију података, статистичке методе интеграције података, Р / питхон / СКЛ програмирање, машинско учење, велике податке и још много тога.
Сада да разумемо важне концепте науке о подацима.
1. Инжењеринг података
Инжењеринг података један је од аспеката науке о подацима који се углавном фокусира на апликације података, прикупљање података и анализу података. Цео посао који научници раде, одговара да одговори на неколико питања која се односе на предвиђања или анализе, користи велики број информација.
Сада су потребне исправне и корисне информације, што ствара потребу за прикупљањем и вредновањем доступних информација. Све су то дио инжењерских задатака. Неки од ових задатака су провјера нуланих вриједности (недостајући подаци), категоризација података (категорички подаци), креирање структура података (правила придруживања) итд.
2. Визуализација података
Визуализација података је графички приступ представљању података. Овде користимо Питхон-ову уграђену библиотеку за креирање визуелних елемената, на пример табеле, корелационе карте, бар-графикони, пар-цртежи, итд. Визуализација података игра веома важну улогу у пружању врло једноставног начина за анализу података, преглед и разумевање трендова, слика оутлиерс итд.
3. Статистичко разумевање
Статистика игра веома важну улогу у пољу науке о подацима. Статистика је веома моћан алат за обављање задатака Дата Сциенце (ДС). Статистика користи математику за техничку анализу доступних информација. Помоћу визуализација попут траке или графикона можемо добити информације о тренду, али статистика нам помаже да управљамо подацима на математички начин / циљано. Без знања о подацима, научна визуализација је само игра нагађања.
Разговараћемо о неким важним статистичким методама које научници података користе свакодневно.
- Средња вредност: Средња вредност је у основи просек свих података, израчунато сабирањем свих елемената података и затим дељењем са бројем елемената. Користи се за препознавање средишње вриједности свих елемената.
- Медијана: Медијана се такође користи за проналазак централне вредности доступних елемената, али овде су сви подаци поредани редоследом, а тачна средња вредност се сматра средњом.
Ако је број елемената непаран, онда је средња вредност ((н + 1) / 2). Ако је број елемената парних, тада ће медијан бити ((н / 2) + 1) термин.
- Режим: Режим је статистички параметар који истиче најчешће или се вредност која се појављује највећи број пута третира као режим.
- Стандардно одступање: Стандардно одступање показује колико је распона присутно у подацима или је то мерило за дефинисање раширености од средњих вредности или просечне вредности или очекиване вредности.
У случају да имамо мало стандардно одступање, то указује да је већина вредности података близу просечне вредности. Ако имамо високо стандардно одступање значи да се наше вредности података шире од средње вредности.
- Варијанта: варијанца је иста као стандардна девијација са малом разликом, она је квадрат стандардне девијације. Стандардно одступање је изведено из варијанце, јер Стандардно одступање показује ширење у подацима, док варијанца приказује ширење с квадратом. Лако је повезати ширење употребом варијанце.
- Корелација: Корелација је једна од најважнијих статистичких мера, она указује на то колико су променљиве у скупу података повезане. Када променимо један параметар како он утиче на други параметар.
Ако имамо позитивну корелациону вредност, што значи да ће се променљиве или повећавати или смањивати паралелно
Ако имамо негативну корелациону вредност, што значи да ће се променљиве понашати обрнуто, прирастајући једна другој, смањује се и обрнуто.
У статистици имамо дистрибуцију вероватноће, Баиесову статистику и тестирање хипотеза који су такође веома важни алати за научника података.
Машинско учење
Машинско учење у основи значи начин на који машине могу да уче и производе резултате на основу улазних функција.
Дефиниција: „Машинско учење је поље учења где рачунар учи из доступних података / историјских података без експлицитног програмирања“
У Машинском учењу фокус је на аутоматизацији и побољшању процеса учења рачунара на основу њихових искуства са улазним подацима и нећемо експлицитно програмирати код за сваку врсту проблема, тј. Машина ће смислити како да приступи проблему. Овде резултати можда нису тачни, али може се дати добра прогноза.
Да схватимо на овај начин:
Традиционално се рачунари користе да би се олакшао процес рачунања. па ако имамо било који аритметички прорачун. Шта ћемо да радимо? Припремићемо један рачунарски програм који ће тај рад решити на једноставан и брз начин. на пример, ако желимо да додамо два ентитета, направићемо један софтверски код који ће узети два улаза, а на излазу ће приказати сумирање.
У машинском учењу је приступ другачији, уместо храњења директног алгоритма, посебан алгоритам се ставља у софтверски код који ће покушати да препозна узорак и на основу тих образаца ће покушати да предвиди најбољи могући излаз. Овде не кодирамо ниједан алгоритам изричито за било коју одређену операцију, већ уносимо податке у машину како бисмо сазнали шта је образац и шта може бити излаз.
Зашто сада требамо приступити овом приступу када директно добијамо тачне резултате само кодирањем тачног алгоритма? Тачни алгоритми су сложени и ограничени су. Погледајмо то из другачије перспективе, ово је доба у којем имамо обиље података и сваки дан експлодира као што смо дискутовали у претходном одељку. Овде се бавимо учењем под надзором и без надзора.
Машинско учење је данас од акутног интереса јер поседујемо обиље података. Да бисмо имали смисла за ове податке, морамо имати неке значајне исходе или неке значајне обрасце, који се могу анализирати и ставити у стварну употребу.
Али ипак, зашто нас занима машинско учење и ови подаци?
Знамо да човечанство само репродукује историју као да смо исти као и наше претходне генерације, а наши потомци ће се такође суочити са неколико истих ситуација са којима смо сада суочени или са којима смо суочени. У овој фази морамо замислити како реаговати на будућност користећи историјске податке.
Дакле, сада знамо да су подаци веома драгоцено средство.
Изазов је колико најбоље можемо искористити ове доступне податке?
Ово је најзанимљивија тема (како?), Где ћемо смислити доступне податке. У основи постоје 3 приступа за машинско учење:
- Надзирано учење
- Ненадзоровано учење
- Учење ојачања
Ова три приступа се користе за креирање модела машинског учења као што су (Линеарна регресија, логистичка регресија, случајна шума, стабла одлука итд.).
На пример, постоји широк избор примене овог модела машинског учења:
- Финансије: откривање преваре
- Маркетинг / продаја: персонализовање препоруке
- Здравство: идентификује тренд болести.
Закључак - Машинско учење о науци о подацима
- Наука података је широко поље које подразумева машинско учење. На овај начин анализирамо историјске податке који су нам доступни и покушавамо предвидјети највјероватније будуће исходе.
- Да бисмо предвидјели да требамо очистити податке, средити податке (инжењеринг података). Са подацима у руци визуелизујемо образац / трендове, а затим статистичким разумевањем долазимо до проницљивих информација.
- Ови подаци ће се уносити на машину користећи алгоритам машинског учења.
- Ови алгоритми обучавају машину и стварају један модел машинског учења.
- Овај модел се тада може користити за предвиђање.
Препоручени чланци
Ово је водич за Дата Мацхине Мацхине Леарнинг. Овде разговарамо о важности науке о подацима заједно са машинским учењем. Такође можете погледати следеће чланке да бисте сазнали више -
- Најбољи програми науке о подацима
- Знање о науци о подацима
- Језици науке о подацима
- Технике машинског учења
- Шта је интеграција података?
- Како се графикон користи у Матлабу (примери)
- Стабло одлука у машинском учењу
- Једноставни начини за креирање стабла одлука