Числово досліджено модифікацію стохастичного градієнтного спуску, яку отримано через уявлення градієнтного спуску як дискретної динамічної системи. Наслідком цього подання є зв'язок між екстремальними точками, до яких прагнуть ітерації градієнтного спуску, та стаціонарними точками дискретної динамічної системи, які відповідають йому. Застосована стабілізувальна схема з предикативним контролем, для якої розроблено теоретичний апарат за допомогою геометричного комплексного аналізу разом із рішенням оптимізаційних завдань у безлічі поліномів із дійсними коефіцієнтами, змогла набагато швидше навчити багаторівневий персептрон розпізнавати рукописні цифри. Програмна реалізація нового алгоритму використовувала бібліотеку PyTorch, створену для досліджень в області нейронних мереж. Всі експерименти запускалися на графічному прискорювачі компанії NVidia для перевірки споживання ресурсів прискорювача. Числові експерименти не виявили жодних відхилень за часом навчання. Відзначено невелике збільшення використовуваної відео-пам'яті, як і очікувалося, оскільки новий алгоритм зберігає одну додаткову копію внутрішніх параметрів персептрону. Важливість отриманого результату пов'язана з ростом застосування технологій глибоких нейронних мереж, яке збільшилося у триста тисяч разів із 2012 по 2018 рр., і пов'язаного з цим збільшенням споживання ресурсів. Ця ситуація змушує індустрію розглядати питання оптимізації навчання на рівні з його точністю. Отже, будь-яке прискорення навчального процесу, яке скорочує час або зменшує ресурси кластерів, є бажаним і важливим досягнутим результатом. Отримані результати відкривають нову область теоретичних і практичних досліджень, оскільки використана стабілізація є лише одним із методів стабілізації та пошуку циклів у теорії управління. Такі хороші практичні результати підтверджують необхідність додавання запізнілого контролю та додаткових експериментів як із предикативними, так і запізнілими елементами контролю.

 Наукова періодика України 

---

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"