Увод у алгоритме дубоког учења
Дубоко учење је корак ка приближавању вештачкој интелигенцији која може доносити одлуке попут људског мозга, тј. Имати способност учења путем покушаја и грешака као и људи. Људски мозак има милијарде неурона (око 86 милијарди; извор: Википедиа). Са вештачким неуронима, дубоко учење такође помаже у имитирању људског ума. За обраду информација и доношење одлуке путем вештачких неуронских мрежа постоје неки алгоритми, названи алгоритми дубоког учења. Алгоритми уче у сваком слоју прогресивно тј.; додатна вредност је додата карактеристикама у следећем слоју. Модел дубоког учења може бити користан ако су подаци мали или непотпуни или превише једноставни. Алгоритми дубоког учења ефикасни су када је података огромно.
Алгоритми дубоког учења
Да бисте створили модел дубоког учења, треба написати неколико алгоритама, објединити их и створити мрежу неурона. Дубоко учење има високе рачунске трошкове. Да би се помогло моделима дубоког учења постоје платформе за дубоко учење попут Тенсор протока, Пи-Торцх, Цхаинер, Керас, итд. У дубоком учењу покушали смо да реплицирамо људску неуронску мрежу са вештачком неуронском мрежом, људски неурон се назива перцептрон у модел дубоког учења Повезујемо ове перцептрон јединице заједно да бисмо створили неуронску мрежу, она има 3 одељка:
- Улазни слој
- Скривени слојеви
- Излазни слој
Перцептрон има улазне чворове (дендрити у људском мозгу), функцију активирања за доношење мале одлуке и излазне чворове (аксон у људском мозгу). Видећемо како један перцептрон делује, спајајући их заједно створиће модел дубоког учења. Улазним подацима (број улазних променљивих / карактеристика) се додељује одређена тежина и доводе их у функцију активирања. Активирајућа функција доноси одлуку и шаље излаз. Излаз овог перцептрона ће бити улаз у друге неуроне. Једном када се серија обради, израчунава се грешка повратног ширења на сваком неурону, уз помоћ трошковне функције / унакрсне ентропије. На овај начин се ресетирају улазне тежине и цео процес се наставља све док унакрсна ентропија не испуни услов.
Имамо различите функције покретања као што су Сигмоидне функције, хиперболичка тангенцијална функција, Исправљана линеарна јединица (РеЛУ) за доношење мале одлуке. За модел дубоког учења треба огромна количина података да би се направио добар модел. Генерално, модел са више од 3 скривена слоја третира се као дубока неуронска мрежа. У основи, Дубоко учење је скуп неурона са бројем параметара дефинисаних за сваки слој. Да би се створио модел дубоког учења популарне архитектуре су РНН, ЦНН итд.
Архитектонске методе алгоритама дубоког учења
За изградњу ове архитектуре користе се следећи алгоритми:
1. Назад ширење
У овом алгоритму израчунавамо делимичне деривате. Опћенито, метода спуштања градијента за оптимизацију, деривати (градијенти) се израчунавају при свакој итерацији. У дубоком учењу функције нису једноставне, оне су састав различитих функција. У овом је случају тешко израчунати градијенте, па користимо приближну диференцијацију за израчунавање деривата. Што је већи број параметара, то ће бити скупље приближна диференцијација.
2. Стохастички градијент
У Градиент спуштању циљ је пронаћи глобалне минимуме или оптимално решење. Али да бисмо то постигли, морамо узети у обзир и локална минимална решења (није пожељно). Ако је циљна функција конвексна функција, лако је пронаћи глобалне минимуме. Почетна вредност функције и брзине учења су одлучујући параметри за проналажење глобалних минима. То се лако може разумети ако се узме река која долази са врха планине и тражи се подножје (глобални миними). Али на начин ће доћи до неких успона и падова (локалних минима) који се морају избегавати. Тачка и брзина порекла реке (почетна вредност и стопа учења у нашем случају) су одлучујући фактори за проналажење глобалних минима.
3. Стопа учења
Стопа учења је попут брзине реке, може да смањи време за вежбање и повећа перформансе. Уопште, научити било коју технику / спорт, у почетку је стопа учења релативно висока него на крају када је треба савладати. Након средње фазе, учење ће бити споро, фокус ће бити на прецизном прилагођавању. Исто се примењује и код дубоког учења. Превелике промене се решавају већом стопом учења и полаким смањењем стопе учења касније за фино прилагођавање.
4. Нормализација серије
Код дубоког учења почетна вредност тежине (насумично одабрана) и учења, брзина се дефинише за мини партију. У почетку би било много одметника, а током повратног ширења ови одласци морају бити надокнађени за израчунавање утега да би се добио излаз. Ова компензација резултира додатним епохама. Да бисмо га избегли, користимо серијску нормализацију.
5. Испусти се
У дубоком учењу углавном се сусрећемо с проблемом прекомерног уклапања. Прекомерно уклапање у велике мреже са неколико параметара отежава предвиђање тестних података. Како би се избегло да користимо методу одустајања, која испада насумичне јединице током тренинга стварањем различитих 'разређених мрежа'. Приликом тестирања ових стањиваних мрежа просечне су прогнозе, што помаже у избегавању прекомерног уклапања.
6. Торба речи
Користимо непрекидну врећу речи да предвидимо следећу реч. На пример, видимо у писању е-поште да је аутосугестија за довршавање реченице део НЛП-а. То се постиже ако се узму у обзир пуно реченица и за одређену реч која се односи на заробљене речи. Те специфичне речи и речи у окружењу доводе се у неуронску мрежу. Након модела тренинга, може предвидјети одређену реч на основу речи у окружењу.
7. Дуго краткотрајно памћење
ЛСТМ је веома користан у проблемима предвиђања редоследа попут превођења језика, предвиђања продаје и проналажења цене акција. ЛСТМ има предност над осталим техникама јер је у стању узети у обзир претходне податке. ЛСТМ врши измене механизмом стања ћелија. Сећа се да је заборавио ствари. 3 главна аспекта ЛСТМ-а истичу се од осталих техника дубоког учења. Прво је када неурон треба да има уноса, друго када треба да запамти претходне податке и шта треба заборавити и треће је када треба да прође излаз.
Закључак
Модел дубоког учења корак је ка репликацији људског ума. Уместо биолошких неурона, дубоко учење користи вештачку неурону мрежу. Дубоко учење има велике рачунске трошкове, који се могу умањити употребом дубоких оквира учења као што су Тенсор проток и Пи-Торцх итд. РНН, ЦНН су архитектонске методе за моделе дубоког учења. У овом чланку су размотрени различити алгоритми дубоког учења који се користе у овим архитектурама.
Препоручени чланци
Ово је водич за алгоритме дубоког учења. Овде смо расправљали о архитектонским методама за дубоко учење алгоритама заједно са слојевима. Можете и да прођете кроз друге наше предложене чланке да бисте сазнали више -
- Увод у алгоритме машинског учења
- Топ 14 примена машинског учења
- Вештачка интелигенција вс Машинско учење вс Дубоко учење
- Топ 13 корисних питања и одговора за разговор о дубоком учењу