Запропоновано паралельні методи невід’ємної факторизації надвеликих розріджених матриць та тензорів - популярний метод в комп'ютерній лінгвістиці. Проблема невід’ємної факторизації розріджених матриць постала в процесі розробки системи визначення міри семантичної близькості-зв’язності за технологією Латентного Семантичного Аналізу. Існуючі паралельні моделі для невід’ємної факторизації матриць та тензорів не задовольняють потреби розмірності матриці та тензору або вимагають занадто великих обчислювальних ресурсів. Запропоновано два методи паралелізації алгоритму факторизації матриць: локальний алгоритм з використанням жорсткого диску та розподілена модель з використанням мережі вузлів. Ітеративні правила оновлення були розділені на кроки для досягнення мінімальної кількості обчислень таким чином, щоб знизити кількість операцій надлишкового копіювання пам'яті та мережевих операцій передачі даних. Співставлено три моделі розподілу алгоритму факторизації матриць. Використання пам'яті і об’єми передачі даних, необхідні для роботи алгоритму факторизації, були проаналізовані та оптимізовані. Описані локальна та розподілена модель були реалізовані, випробувані та порівняні в розумінні об'ємів читання та запису на жорсткий диск та передачі по мережі вузлів. Також проаналізовано та порівняно час, необхідний для виконання ітерації. Запропоновано блочно-діагональний підхід до факторизації невід'ємних розріджених лінгвістичних матриць, які можуть бути приведені до блочно-діагональної форми. Цей підхід може прискорити факторизацію, потребує менше мережевих операцій та пам'яті для ітерацій і зберігання результатів. Основною ідеєю алгоритму приведення лінгвістичного тензору до блочно- діагонального виду є групування слів однієї тематичної групи разом по всіх осях у відповідних інтервалах для підгонки всіх ненульових значень лінгвістичного тензору на перетині всередину блоку, що складається в даний момент. Вся суть методу полягає у переході від необхідності факторизувати надвеликий розріджений лінгвістичний тензор до невід’ємної факторизації набору лінгвістичних тензорів значно зменшеного розміру. Вказано, що не кожна матриця або тензор можуть бути зведені до блочно-діагональної форми, використовуючи перестановки рядків та стовпчиків в матрицях та шарів в тензорах. У випадку лінгвістичних матриць та тензорів допускається розщеплення векторів семантико-синтаксичної валентності слів на складові вектори їх окремих значень. Запропоновано використання особливостей природньої мови присутніх в лінгвістичних матрицях та тензорах для зведення до блочно-діагональної форми, а саме, виділення тематичних діагональних блоків матриць. Запропоновано використання латентного розподілу Діріхле для приведення матриць і тензорів до блочно-діагональної форми для паралелізації обчислень та прискорення невід’ємної факторизації лінгвістичних матриць і тензорів надвеликої розмірності. Запропонований метод, так само, дозволяє доповнення моделі природної мови новими даними без необхідності виконувати невід’ємну факторизацію всього надвеликого тензора заново з самого початку.

• Насіров Еміл Мехдієвич (фізико-математичні науки)

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"