Скачати повний текст

Згорткові нейронні мережі показують високу якість у розв’язанні задачкомп’ютерного зору. Суттєва кількість досліджень присвячена розробці нейронних мереж для їх виконання на потужних серверах, однак в ряді випадківїх використання ускладнюється з таких причин: коли інтернет з’єднання є нестабільним або відсутнє взагалі, коли користувач не погоджується передаватиприватні дані із свого пристрою, коли загальний об’єм даних надто великийдля передачі з усіх пристроїв на сервер тощо. У разі необхідності обробкизображень на мобільному або малопотужному пристрої виникає цілий рядпроблем:— такі пристрої мають обмежені обчислювальні ресурси, і мережа на нихможе виконуватись за неприпустимо довгий для цільової задачі час. А отже,архітектури глибоких згорткових нейронних мереж із великою кількістю параметрів, що показують високу якість на серверах, мають зазнати змін длязастосування на мобільних пристроях;— робота від батареї передбачає мінімізацію кількості обчислень. Черезце великий інтерес наукової спільноти спрямований на розробку архітектурмобільних нейронних мереж, що враховують характеристики пристроїв наетапі проектування. Проблемою таких нейронних мереж є необхідність остаточного визначення їх конфігурації до початку процедури навчання, що ви-3магає повтору довгої процедури навчання після кожної корекції конфігураціїмережі;— якщо застосунок необхідно встановити на пристрій Інтернету речей,це додає ще одну категорію пристроїв із меншою обчислювальною потужністю і ставить розробника нейронної мережі перед вибором: або навчити однумережу, яка буде достатньо швидкою для всіх пристроїв, але потенційно матиме невисоку якість виконання; або ж навчати окрему мережу для кожноїкатегорії пристроїв, що, враховуючи довгий час навчання глибоких нейронних мереж, значно збільшить витрати на розробку системи.Метою роботи є прискорення навчання і виконання згорткових нейронних мереж для задач класифікації та сегментації зображень без втрат (або зякомога меншими втратами) якості розпізнавання за рахунок розробки змінюваних нейронних мереж і методів їх навчання. Під змінюваною нейронною мережею будемо розуміти згорткову мережу із змінною складністю.Наукова новизна одержаних результатів:— вперше для задач класифікації та сегментації зображень розробленізмінювані згорткові нейронні мережі та метод їх навчання, які, на відміну відіснуючих, дозволяють обирати одну з конфігурацій із різними обчислювальними складностями під час або після навчання. На наборі даних ImageNetрозроблена мережа за ефективністю (в сенсі співвідношення якість розпізнавання/час виконання) зайняла п’яте місце серед 17 провідних архітектур мереж, а на CamVid прискорення виконання склало понад 6 % без втрат якості;— вперше розроблено метод Λ-шаблонів прискорення оптимізаційногомета-навчання, який, на відміну від існуючих, дозволяє за рахунок змінискладності нейронної мережі зменшити кількість обчислень під часнавчання, та таким чином пришвидшити адаптацію мережі до нових класівза малою кількістю прикладів на 7,5 % при втратах якості менше 0,4 %.^UConvolutional neural networks show high quality in solving computer visiontasks. A significant amount of research is devoted to the development of neuralnetworks, that target inference on powerful servers. However, in a number of casestheir use is complicated for the following reasons: when the Internet connection isunstable or absent at all, when the user does not agree to share private data from hisdevice, when the data volume is too large to be transferred from all devices to theserver, etc. If it is necessary to process images on a mobile or low-power device, anumber of problems arise:— such devices have limited computing resources, and the network inferencemight be unacceptably long for the target task. Therefore, deep convolutionalneural network architectures with many parameters that show high quality onservers need to be modified for mobile applications;— inference when running on battery implies that the number of computationsshould be minimized. Because of this, great interest of the scientific communityis devoted to the development of mobile neural network architectures that takeinto account the mobile device limitations at the design stage. Such architecturesrequire the network configuration to be finalized before the start of the trainingprocedure, as a result long training procedure should be repeated after each networkarchitecture adjustment, which is a problem;— if the application is expected to be installed on an IoT device, this addsanother category of devices with less computing power and presents the neuralnetwork developer with a choice: either to train one network that will be fastenough for all devices, but potentially have poor performance; or to train a separatenetwork for each category of devices, which, given the long training time of deepneural networks, will significantly increase the cost of development of the system.