Багато актуальних NLP завдань, включаючи задачу автопунктуації, залежать від ефективного вирішення завдання прогнозування - визначення того, який саме токен повинен бути наступним. Розглянуто підзадачу прогнозування наступного токену на основі попередніх. Основною проблемою існуючих підходів є те, що вони не однаково ефективні. З метою вирішення цієї проблеми розглянуто використання двонаправлених кодерів моделі BERT з даними, які були токенізовані.

 Наукова періодика України 

---

Додаткова інформація про автора(ів) публікації:
(cписок формується автоматично, до списку можуть бути включені персоналії з подібними іменами або однофамільці)

• Знахур Сергій Вікторович (економічні науки)

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"