Преглед машинског учења хиперпараметра
За сваки модел потребни су нам неки параметри који помажу у пружању базе за решење проблема / анализе и процене модела. Неке од ових параметара треба научити из података, а неке морамо изричито дефинисати из свог краја. Параметри који се могу научити из података, а да нису изричито дефинисани, називају се параметри модела. Параметар који је експлицитно дефинисан од стране корисника назива се Хиперпараметерс. Хиперпараметри су такође параметри само у моделу, али појам хиперпараметри се користе у машинском учењу тако да се могу лако разликовати и не мешати са параметрима модела који се уче из скупа података.
Шта је хиперпараметарно машинско учење?
За већину оквира машинског учења, хиперпараметри немају прецизну дефиницију. Ови хиперпараметри управљају основним системом модела који води примарне (модалне) параметре модела. Покушајмо да разумемо хиперпарамере са следећим примером.
- Угађање виолине је од пресудне важности када је она у фази учења, јер тада ствара везе између различитих чула. Уши, прсти и очи истовремено уче виолину. Сада на почетку Привикавање на звук виолине у тону ствара лош укус звука, што ће покварити читаво искуство њиховог заљубљивања у процес учења виолине.
- Зато угађање виолине заиста може помоћи неком у процесу учења виолине. На исти начин, хиперпараметар је својеврсна прилагодба модела машинског учења како би се добио прави смер.
- Хиперпараметри су углавном дефинисани пре примене алгоритма машинског учења на скуп података.
- Сада је следећи задатак шта треба да буде хиперпараметар и која би требало да буде његова вредност. Зато што се мора знати које су жице потребне за подешавање и како напунити виолину пре него што је подешавате. Исто се односи и на хиперпараметре, морамо дефинирати хиперпараметре и која би требала бити његова вриједност, у основи то овиси о сваком задатку и сваком скупу података.
- Да бисмо то разумели, узмимо перспективу оптимизације модела.
- У имплементацији модела машинског учења, оптимизација модела игра виталну улогу. Постоји добар број грана машинског учења које су искључиво посвећене оптимизацији модела машинског учења. Генерално се сматра да за оптимизацију модела морамо да модификујемо шифру како би се грешка свела на минимум.
- Међутим, постоје скривени елементи који утичу на оптимизацију машинског учења која су изван модела и имају велики утицај на понашање модела. Ови скривени елементи називају се хиперпараметрима, то су критичне компоненте за оптимизацију било којег модела машинског учења.
- Хиперпараметри су фини подешавачи / подешавања која контролишу понашање модела. Ови хиперпараметри су дефинисани изван модела, али имају директни однос са перформансама модела. Хиперпараметри би се могли сматрати ортогоналним за моделирање.
- Критеријуми за дефинисање хиперпараметра су веома флексибилни и апстрактни. Сигурно постоје неки хиперпараметри као што су број скривених слојева, стопа учења модела која су добро успостављена и такође постоје нека подешавања која се могу третирати као хиперпараметар за одређени модел, као што је контрола капацитета модела.
- Постоје шансе алгоритма да надјача модел ако алгоритми директно уче кроз подешавања. Као што је јасно да се хиперпараметри не уче / подешавају кроз сет тренинга, тако се за избор хиперпараметара користи сет теста или валидације. У широком смислу постављамо различите вредности хиперпараметара, она која најбоље функционира са сетом теста или валидације сматра се нашим најбољим хиперпараметром.
Категорије хиперпараметара
За различите типове скупова података и према моделу можемо имати различите хиперпарамере да би побољшали перформансе модела. Опћенито, хиперпараметри се могу сврстати у двије категорије.
- Хиперпараметар за оптимизацију
- Хиперпараметри за одређене моделе
Хајде да разговарамо о сваком од ових ствари.
1. Хиперпараметри за оптимизацију
Као што име каже, ови хиперпараметри се користе за оптимизацију модела.
- Стопа учења
Овај хиперпараметар одређује колико ће новостечени подаци надјачати старе доступне податке. Ако је вредност овог хиперпараметара већа, већа стопа учења неће оптимално побољшати модел, јер постоје шансе да ће прескочити минимале. Са друге стране, ако се стопа учења узме врло мање, конвергенција ће бити врло спора.
Стопа учења игра пресудну улогу у оптимизацији перформанси модела, јер у неким случајевима модели имају стотине параметара (параметри модела) са кривуљом грешке, стопа учења ће одлучити о учесталости унакрсне провјере са свим параметрима. Такође, тешко је пронаћи локалне минимуме кривуља грешака, јер оне углавном имају неправилне кривуље.
- Величина серије
Да бисте убрзали процес учења, сет за подучавање подијељен је у различите групе. У случају стохастичког поступка тренирања модела, мала серија се тренира, процењује и проширује на начин да се подесе вредности свих ваших хиперпараметара, исто се понавља за цео сет тренинга.
Ако је величина серије већа, то ће повећати вријеме за учење и требат ће јој више меморије за обраду матрице. Ако је величина серије мања, тада ће бити више буке у прорачуну грешака.
- Број епоха
Епоха представља комплетан циклус података који се требају научити у Машинском учењу. Епохе играју врло важну улогу у итеративном процесу учења.
Погрешка потврде сматра се одредјивањем правог броја епоха. Може се повећати број епоха све док постоји смањење грешке у валидацији. Ако се грешка у потврђивању не побољша за узастопне епохе, то је сигнал да се заустави све већи број епоха. Такође је познато и као рано заустављање.
2. Хиперпараметри за одређене моделе
Неки хиперпараметри су укључени у структуру самог модела. Неке од њих су следеће.
- Број скривених јединица
Од виталног је значаја да се дефинирају бројне скривене јединице за неуронске мреже у моделима дубоког учења. Овај хиперпараметар се користи за дефинисање капацитета учења модела. за сложене функције морамо дефинисати бројне скривене јединице, али имајте на уму да не би требало да прекомерно утиче на модел.
- Број слојева
Очигледно је да ће неуронска мрежа са 3 слоја дати боље перформансе од оне 2 слоја. Повећање више од 3 не помаже толико у неуронским мрежама. У случају ЦНН-а, све већи број слојева модел чини бољим.
Закључак
Хипер параметри се дефинишу изричито пре примене алгоритма машинског учења на скуп података. Хиперпараметри се користе за дефинисање сложености модела и способности учења на вишем нивоу. Хиперпараметри такође могу бити подешавања за модел. Неки хиперпараметри су дефинисани за оптимизацију модела (величина шарже, брзина учења итд.), А неки су специфични за моделе (Број скривених слојева итд.).
Препоручени чланци
Ово је водич за хиперпараметарно машинско учење. Овде смо расправљали о прегледу и шта је хиперпараметарно машинско учење са његовим категоријама. Такође можете погледати следеће чланке да бисте сазнали више -
- Увод у машинско учење
- Ненадзоровано машинско учење
- Врсте алгоритама машинског учења
- Примене машинског учења
- Имплементација неуронских мрежа
- Топ 6 поређења између ЦНН и РНН