Розглянуто алгоритми семантичного пошуку з глибоким навчанням, що застосовуються у сфері управління персоналом. Мета дослідження - вдосконалення та розширення різноманітних підходів до нормалізації назв, написаних у вільній формі, для зіставлення зі заздалегідь визначеною стандартною таксономією. Завдання дослідження - запропонувати нову навчальну задачу для великої мовної моделі та навчити її відображати назви посад у вільній формі та навички, які пов'язані з назвою посади, у векторний простір таким чином, щоб назви посад, які мають спільне значення, знаходилися близько один до одного. Процес нормалізації назв посад може базуватися або на класифікації, або на порівнянні схожості. У той час як алгоритми класифікації намагаються віднести вибірку до заздалегідь визначеного набору категорій, алгоритми пошуку подібності застосовують більш гнучкий підхід, оскільки вони призначені для пошуку зразків, схожих на задану вибірку запиту, не вимагаючи заздалегідь визначених класів і міток. Ураховуючи це, для пошуку кандидатів на нормалізацію назв посад буде використовуватися пошук за семантичною схожістю. Попередньо навчена мовна модель адаптується під час навчання для зіставлення назв посад і навичок на основі інформації про спільні входження. Для дослідження було зібрано близько 50 мільйонів пар "назва посади - опис" для навчання моделі та 33 тисячі триплетів "назва посади - опис - нормалізована назва посади" для тестування, де нормалізована назва посади була підібрана вручну укладачем оголошення про роботу. Як базові моделі використано FastText, BERT, SentenceBert і JobBert. Як метрику точності розробленого алгоритму використано показник Recall у 3, 5 і 10 найкращих пропозиціях моделі. Показано, що нова мета навчання дозволяє досягти значного покращання у порівнянні з іншими загальними та специфічними кодувальниками тексту. Результати проаналізовано та використано для формулювання висновків і пропозицій щодо подальшої роботи. Датасет, який використовувався для тестування моделей оприлюднено задля сприяння подальшим дослідженням у цій галузі.

  Якщо, ви не знайшли інформацію про автора(ів) публікації, маєте бажання виправити або відобразити більш докладну інформацію про науковців України запрошуємо заповнити "Анкету науковця"