Розглянуто особливості становлення та розвитку жестової мови як феномену у контексті соціокультурного підходу. Визначено теоретико-методологічні та методичні засади її функціонування. Розкрито шляхи подальшого вивчення мови жестів як навчальної дисципліни, засобу комунікації та навчання. Висвітлено ідеї соціокультурного розуміння глухоти, сутність української жестової мови та її мовознавчі особливості. Наведено модель формування жестомовної комунікативної компетенції.

Рассмотрены особенности становления и развития языка жестов как феномена в контексте социокультурного подхода. Определены теоретико-методологические и методические основы его функционирования. Раскрыты пути дальнейшего изучения языка жестов как учебной дисциплины, средства коммуникации и обучения. Освещены идеи социокультурного понимания глухоты, сущность украинского языка жестов и его языковедческие особенности. Дана модель формирования коммукативной компетенции языка жестов.

На основі методологій штучного інтелекту розглянуто теоретичні та практичні аспекти розроблення математичного та програмного забезпечення комп'ютеризованої системи ідентифікації жестів української жестової мови. Для вирішення цієї проблеми розглянуто широке коло питань, які стосуються моделювання струкутурованих і неструктурованих даних, зокрема, на основі карт Кохонена. Проаналізовано існуючі та запропоновано власні оригінальні підходи, які мають більшу ефективність і дали змогу розробити відповідне програмне забезпечення. Детально описано систему розпізнавання жестової мови.

Розглянуто проблему розпізнавання артикуляції на зображенні обличчя. Запропоновано метод розпізнавання артикуляції, який базується на методі активної моделі форми ASM. Метод протестовано на відеозображеннях української жестової мови та на базі облич "BioID".

Розглянуто задачу визначення положення тіла людини з відеопотоку для програмного забезпечення "Тренажера української жестової мови". Досліджено алгоритми побудови полігональної моделі для розв'язання цієї задачі.

Запропоновано математичну модель та її комп'ютерну реалізацію для одержання та відтворення жестової мови за допомогою тривимірних моделей людей. Запропоновано технологію, яка досить реалістично відтворює рухи на тривимірній моделі, що одержані з відеозображення конкретної людини - носія жестової мови.

Розглянуто проблему розпізнавання артикуляції у відеопотоці. Запропоновано метод розпізнавання артикуляції та його комп'ютерну реалізацію. Метод протестовано на відеозаписах промовляння слів і на зображеннях облич.

Розглянуто проблему розпізнавання артикуляції на відеозаписах із мовленням. Запропоновано багатокроковий метод розпізнавання, що базується на нормалізації зображення обличчя, методі активної моделі форми ASM і методі найменших квадратів. Метод протестовано на відеозаписах промовляння слів та на основі облич.

Рассмотрен подход к исследованию движений пальцев руки человека для построения спецификаций жестов дактильного жестового языка. Предложена информационно-параметрическая модель кисти руки человека для описания возможных движений при дактилировании элементов жестового языка. Исследованы дактильные азбуки десяти жестовых языков, осуществлен сравнительный анализ на предмет их подобия и различия построения движений. Приведен пример обучающей программы для украинской дактильной жестовой азбуки, реализованной с использованием технологии .Net и Windows Presentation Foundation компании Microsoft.

Розглянуто проблему побудови системи автоматизованого перекладу з української мови на українську жестову мову. Запропоновано інформаційну технологію, що дозволяє побудувати таку систему. Основна ідея полягає у створенні механізму узагальнених граматичних конструкцій простих речень української та жестової мов. Одержані узагальнені конструкції пов'язані між собою зв'язками, які дозволяють робити переклад, не гублячи при цьому сенс тексту. Проведено експериментальне дослідження на множині слів та жестів в об'ємі початкових класів спеціальних шкіл для дітей з вадами слуху.

Розглянуто задачу ідентифікації на зображенні конфігурації руки для української жестової мови. Запропоновано для розв'язку цієї задачі використовувати метод Speeded Up Robust Features (SURF), оскільки він є одним з найбільш ефективних і швидких сучасних алгоритмів. Одержані експериментальні результати показали досить високу ефективність методу для ідентифікації дактильних знаків.

Розглянуто підхід для моделювання емоційної та артикуляційної складових обличчя віртуальної моделі людини в процесі відтворення нею українського жестового мовлення. Запропонований підхід надає змогу використовувати одержанні під час моделювання параметри для аналізу зображень обличчя людини в процесі відтворення жестового мовлення.

Рассмотрена проблема разработки системы описания мимических проявлений в украинском жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка. Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты эти систем, указаны их недостатки и области их применения. Выдвинуты основные требования, которым должна соответстовать система описания мимики в украинском жестовом языке.

Рассмотрен процесс создания аудиовизуальной базы данных украинского жестового языка, получения характеристик немануальных компонент жестовой речи, с целью выделения структуры и связей между мануальными и немануальными компонентами.

Вперше науково обгрунтовано особливості вивчення лексичних понять української жестової мови (УЖМ) глухими дітьми початкової школи. Виявлено критерії, показники, рівні сформованості лексичних навичок. Розроблено лінгводидактичну модель вивчення лексики глухими молодшими школярами. Визначено педагогічні умови, стадії та тенденції збагачення жестівника дітей необхідною лексикою, що сприяють формуванню необхідних лексичних навичок у глухих дітей, узгодженню пріоритетних напрямів навчально-мовленнєвої діяльності та мовленнєвого досвіду дитини, що не чує. Поглиблено й уточнено поняття "лексика УЖМ", "лексична одиниця", "лексична навичка". Набули подальшого розвитку теоретичні положення щодо рівня мовленнєвого та мовного розвитку, зокрема лексичного, глухих молодших школярів, лінгводидактичні аспекти теорії та практики вивчення лексики УЖМ глухими учнями початкової школи.

Розглянуто систему вивчення української дактилології. Викладено основні вимоги до дактильного мовлення: правильне виконання постановчих вправ (постановка конфігурації рук, їх руху, узгодження вимовних вмінь (постановка правильного дихання, розбірливої артикуляції, виразного озвучення). Наведено вправи для розвитку мімічної мускулатури, артикуляційної моторики. Охарактеризовано етапи оволодіння дактильним мовленням: розвиток мімічної та артикуляційної моторики, розвиток і удосконалення дикції. Підкреслено значення застосування методики послідовного і системного вивчення українських дактилем (знаки пальцевої азбуки, що повторюють літери абетки відповідної мови).

Рассмотрена система изучения украинской дактилологии. Изложены основные требования к дактильной речи: правильное выполнение постановочных упражнений, соответствующая конфигурация рук, их движения, согласование речевых навыков (постановка правильного дыхания, разборчивой артикуляции, выразительного озвучивания). Приведены упражнения для развития мимической мускулатуры, артикуляционной моторики. Охарактеризованы следующие этапы овладения дактильной речью: развитие мимической и артикуляционной моторики, развитие и совершенствование дикции. Подчеркнута эффективность применения методики последовательного и системного изучения украинских дактилемм (знаки пальцевой азбуки, повторяющие буквы алфавита соответствующего языка).

The article deals with the study of Ukrainian dactylology based on the estimated model of mastering finger speech (showing and reading). The technique of gradual and systematic studying of Ukrainian Dactyl is being offered here.

Описан подход к решению проблемы перевода с вербального на жестовый язык глухих людей. Для обеспечения перевода построены обобщенные грамматические конструкции на основании корпуса предложений, используемых людьми с недостатками слуха при обычном общении. Рассмотрены практическая реализация инфологических моделей для словарей флективного и жестового языков для работы с данными конструкциями и алгоритм перевода. Получено экспериментальное подтверждение эффективности предложенного подхода на базе украинского языка.

Розглянуто використання машинного перекладу на основі правил для української жестової мови. Описано основні принципи перекладу з української жестової мови на українську словесну мову. Виділено правила для перекладу на українську словесну мову, враховуючи граматичні особливості української жестової та словесної мов.

Набули подальшого розвитку моделі, методи та алгоритми кластеризації в задачах розпізнавання мови та мови жестів. Запропоновано різні підходи до формування векторів ознак у векторній і матричній формах. Розвинено теорію псевдообернення за Муром - Пенроузом, зокрема, побудову відстаней відповідності на основі занурення у слушний підпростір (чи гіперплощину) у просторі ознак. Запропоновано підходи до стандартизації спектрограми, зображення жесту та геометричних характеристик жесту, згладжування матриці спектрограми з використанням її сингулярного розкладу. Розроблено та програмно реалізовано системи розпізнавання мови одного диктора на обмеженій множині слів і знаків дактильної мови жестів з ефективністю 93 % та 86 % відповідно.

Розроблено інфологічну модель концептів для побудови системи перекладу української жестової мови. Досліджено адекватність інфологічної моделі на корпусі паралельних речень "українська словесна мова - українська жестова мова". Оцінено якість системи перекладу з використанням інфологічної моделі концептів зменшення відсотка помилково перекладених слів у тих реченнях, які містили концепти, з 42,83 до 34,58 % WER.

Запропоновано принципово новий концептуально-методичний підхід до проблеми вивчення лексики української жестової мови (УЖМ) глухими учнями, що розглядається як базовий рівень формування мовної особистості в початковій школі. Розглянуто науково-обґрунтовану і апробовану лінгводидактичну модель вивчення лексичних одиниць УЖМ глухими учнями початкової школи, що поєднує такі компоненти: спільну (партнерську) діяльність, спеціально організовану навчально-мовленнєву діяльність і самостійну мовленнєву діяльність учня. Детально описано структуру лінгводидактичної моделі та чотири взаємопов’язаних етапи опанування лексики УЖМ глухими дітьми, а саме: ознайомлювальний, репродуктивно-продуктивний, комунікативно-діяльнісний, творчий, в кожному з яких виокремлено три компоненти: змістовий, мотиваційний та розвивальний. Розкрито принципи вивчення лексики. Охарактеризовано мету та зміст практичних вправ, що застосовуються в роботі на основі зазначеної моделі. Наголошено, що в лінгводидактичній моделі в повному обсязі реалізовано принципи діалогу двох культур та двох мов, що сприяє формуванню двомовної особистості глухого школяра початкової школи. Виокремлено позитивні аспекти застосування лінгводидактичної моделі вивчення лексичних одиниць УЖМ глухими школярами початкової школи.

Представлен принципиально новый концептуально-методический подход к проблеме изучения лексики украинского языка жестов (УЯЖ) глухими учениками, который рассматривается как базовый уровень формирования языковой личности в начальной школе. Рассмотрена научно-обоснованная и апробированная лингводидактическая модель изучения лексических единиц УЯЖ глухими учениками начальной школы, которая объединяет такие компоненты: общую (партнерскую) деятельность, специально организованную учебно-речевую деятельность и самостоятельную речевую деятельность ученика. Подробно описана структура лингводидактической модели и четыре взаимосвязанных этапа освоения лексики УЯЖ глухими детьми, а именно: ознакомительный, репродуктивно-продуктивный, коммуникативно-деятельностный, творческий, в каждом из которых выделены три компонента: содержательный, мотивационный и развивающий. Раскрыты принципы изучения лексики. Охарактеризованы цели и содержание практических упражнений, применяемых в работе на основе указанной модели. Отмечено, что в лингводидактической модели в полном объеме реализованы принципы диалога двух культур и двух языков, способствующие формированию двуязычной личности глухих школьников начальной школы. Выделены положительные аспекты применения лингводидактической модели изучения лексических единиц УЯЖ глухими школьниками начальной школы.

The changes taking place in recent years in Ukraine in the study of Ukrainian sign language, creating new conditions for humane and modernization of special education of the deaf. Contemporary special education should be directed at ensuring maximum all-round development of the individual deaf student, promote the realization of its potential, quality social rehabilitation and integration into society. An important role in this process given language education and speech training of deaf students of secondary specialized schools. This article represents the author’s linguistic-didactic model of Ukrainian sign language lexical units learning by junior deaf schoolchild. It describes the aim of Sings learning, the main components and structure of the model. It presents the general and special principles of sign vocabulary learning. It characterizes the phases of sign vocabulary mastering. This article describes the purpose and content of practical exercises for sign vocabulary learning, e. g. communicative, cognitive, creative, constructive exercises etc. It characterizes the author’s Guide of „Ukrainian Sign Language” for teachers that based on the linguistic-didactic model that represents of the practical tasks and material for teaching Signs at all grades since first form to twelfth.