English version
23 Февраля 2020, Воскресенье, 17:23
06.09.19 03:00 | Наука | 279

Российский ученый создал систему для перевода с языка глухих

Фото: question

Выпускник Новосибирского государственного университета создал систему, которая автоматически озвучивает язык жестов и позволяет управлять компьютером без помощи мыши, передает телеканал «Якутия 24» со ссылкой на ТАСС,

«Выпускник НГТУ НЭТИ Алексей Приходько завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Система работает по аналогии с мозгом человека», — говорится в сообщении.

Отмечается, что при помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

При этом, отмечается, что разработать хорошую систему для перевода с жестового языка сложно из-за особенностей его грамматики. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения, а также выражения лица, движений губ и других знаков. Именно поэтому ни одна из существующих программ пока не может заменить живых переводчиков.

«Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда на человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат — моя программа безмаркерным методом распознает человека и его жесты при помощи камер», – рассказал ученый.

Система также сможет управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

Сейчас система переводит на уровне азбуки глухих. В дальнейшем разработчик планирует обучить систему другим компонентам грамматики русского жестового языка, чтобы она подходила для как можно более широкого использования.

 
 


Система Orphus