Преглед алгоритама неуронске мреже
- Прво упознајмо шта значи неуронска мрежа? Неуронске мреже су инспирисане биолошким неуронским мрежама у мозгу или можемо рећи нервним системом. То је изазвало пуно узбуђења, а истраживање и даље траје на овом подскупу Машинског учења у индустрији.
- Основна рачунарска јединица неуронске мреже је неурон или чвор. Он прима вредности од других неурона и израчунава излаз. Сваки чвор / неурон повезан је са тежином (в). Ова тежина је дата према релативној важности одређеног неурона или чвора.
- Дакле, ако узмемо ф као функцију чвора, функција чвора ф ће пружити излаз као што је приказано у наставку: -
Излаз неурона (И) = ф (в1.Кс1 + в2.Кс2 + б)
- Тамо где су в1 и в2 тежина, Кс1 и Кс2 су нумерички улази, а б је пристраност.
- Горња функција ф је нелинеарна функција која се такође назива и функција активирања. Његова основна сврха је увођење нелинеарности јер су готово сви подаци у стварном свету нелинеарни и желимо да неурони науче ове репрезентације.
Различити алгоритми неуронске мреже
Погледајмо сада четири различита алгоритма неуронске мреже.
1. Градиент спуштање
То је један од најпопуларнијих алгоритама за оптимизацију у области машинског учења. Користи се током обуке модела машинског учења. Једноставним речима, у основи се користи да се пронађу вредности коефицијената који напросто смањују трошковну функцију колико је то могуће. Прво од свега, започињемо дефинисањем неких вредности параметара, а затим помоћу рачунице почињемо итеративно прилагођавати вредности тако да смањује се изгубљена функција.
А сада, да дођемо до дела који је градијент? Дакле, градијент значи да ће се знатно повећати излаз било које функције ако смањимо улаз за мало или другим ријечима можемо га назвати нагибом. Ако је нагиб стрм, модел ће брже учити на сличан начин модел престаје да учи кад је нагиб једнак нули. То је зато што је то алгоритам минимизације који минимизира дати алгоритам.
Испод формуле за спуштање нагиба приказана је формула за проналазак следећег положаја.
Где је следећа позиција б
а тренутни положај, гама је функција чекања.
Дакле, као што видите спуштање градијентом је врло звучна техника, али постоје многе области где спуштање нагиба не делује правилно. Испод су неки од њих:
- Ако алгоритам није правилно изведен, тада можемо наићи на нешто попут проблема нестајања градијента. До њих долази када је градијент премален или превелик.
- До проблема долази када распоред података представља не-конвексни проблем оптимизације. Градиент достојан делује само са проблемима који су конвексно оптимизовани проблем.
- Један од веома важних фактора на који треба тражити током примене овог алгоритма су ресурси. Ако имамо мање меморије додељене за апликацију, требало би да избегавамо алгоритам за спуштање у градијенту.
2. Невтонова метода
То је алгоритам оптимизације другог реда. Назван је другим редом јер користи хесејеву матрицу. Дакле, Хессова матрица није ништа друго до квадратна матрица делимичних деривата другог реда скаларно вредноване функције. У Невтоновом алгоритму за оптимизацију метода примењује се на први дериват двоструке диференцијабилне функције ф тако да може наћи корење / стационарне тачке. Идемо сада у кораке које Невтон-ова метода захтева за оптимизацију.
Прво процењује индекс губитка. Затим провјерава да ли је критеријум заустављања истинит или лажан. Ако је лажно, онда израчунава Невтонов смјер тренинга и брзину тренинга, а затим побољшава параметре или тежину неурона и опет се наставља исти циклус. Дакле, сада можете рећи да предузима мање корака у поређењу с падом градијента како би се добио минимум вредност функције. Иако је потребно мање корака у односу на алгоритам градијентног спуштања, он се и даље не користи у широкој употреби, јер су тачно израчунавање хессиан-а и његова инверзија рачунски скупи.
3. Коњугирајте градијент
То је метода која се може посматрати као нешто између спуштања нагиба и Невтонове методе. Главна разлика је у томе што убрзава спору конвергенцију коју обично повезујемо са падом градијента. Друга важна чињеница је да се може користити и за линеарне и за нелинеарне системе и то је итеративни алгоритам.
Развили су га Магнус Хестенес и Едуард Стиефел. Као што је већ поменуто горе, то ствара бржу конвергенцију него силазни градијент, разлог зашто је то могуће је тај што се у алгоритму Цоњугате Градиент претрага врши заједно са коњугираним правцима, због којих се конвертује брже од алгоритама за спуштање градијента. Важна тачка која треба напоменути је да се γ назива коњугирани параметар.
Смјер тренинга се периодично ресетира на негативан градијент. Ова метода је ефикаснија од спуштања градијентом у тренингу неуронске мреже, јер јој није потребна хесијска матрица која повећава рачунско оптерећење и такође се конвергира брже од спуштања у градијенту. Погодно је користити у великим неуронским мрежама.
4. Квази-Њутонова метода
То је алтернативни приступ Невтоновој методи, јер смо сада свесни да је Невтонова метода рачунски скупа. Ова метода решава те недостатке до те мере да уместо израчунавања Хессове матрице и затим директног израчунавања инверзног, ова метода ствара апроксимацију за инверзну Хесиану при свакој итерацији овог алгоритма.
Сада се та апроксимација израчунава користећи информације из првог деривата функције губитка. Дакле, можемо рећи да је то вероватно најприкладнија метода за обраду са великим мрежама, јер штеди време рачунања, а такође је и брже од спуштања градијента или методе коњугације градијента.
Закључак
Пре него што завршимо с овим чланком, упоредимо рачунарску брзину и меморију за горе поменуте алгоритме. Према меморијским захтевима, градијентно спуштање захтева најмање меморије а истовремено је и најспорије. Супротно томе, Невтонова метода захтева више рачунске снаге. Дакле, узимајући све ово у обзир, Куаси-Невтонова метода је најприкладнија.
Препоручени чланци
Ово је водич за алгоритме неуронске мреже. Овде такође разматрамо преглед алгоритма неуронске мреже заједно са четири различита алгоритма. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Машинско учење и неуронска мрежа
- Оквири машинског учења
- Неуронске мреже вс дубоко учење
- К- значи алгоритам кластерирања
- Водич за класификацију неуронске мреже