Глухой программист «научил» компьютер понимать язык жестов
Свежий номер
РГ-Неделя
Родина
Тематические приложения
Союз
Свежий номер
Общество
24.09.2019 15:30
Поделиться
Никита Зайков (Новосибирск)
Программист Новосибирского государственного технического университета (НГТУ) Алексей Приходько создал прототип уникальной компьютерной системы, которая позволит свободно общаться глухим и слышащим людям.
Пресс-служба НГТУ
Прямо скажем, он взялся за неординарную задачу. Ведь язык жестов глухих людей включает в себя, помимо самих жестов, еще много лингвистических компонентов. Например, один и тот же жест может обозначать разные понятия в зависимости от места расположения кисти руки: находится ли она у подбородка, у щеки или рядом с другой ладонью. Дополняют жесты направление движений, их скорость и обязательно выражение лица.
В мире несколько компаний заявляют, что разработали электронный переводчик с жестового языка на письменный, однако, по словам Приходько, современные системы пока далеки от совершенства.
Они не учитывают все компоненты жеста, и в первую очередь, лингвистические особенности национальных языка жестов.
— Как в русском языке существует алфавит, так и в русском жестовом языке каждый жест руки обозначает определенную букву. Но существует и такой способ общения, когда каждый жест обозначает целое понятие, — рассказал «РГ» Алексей Приходько. — Глухие при общении используют оба варианта. Например, признание в любви может состоять из трех жестов «я тебя люблю», а может из десяти конфигураций руки, по количеству букв.
Алексей решил сделать технологию перевода простой и доступной, применив для «снятия» жестов обычные видеокамеры. Ведь ими оснащен сегодня любой смартфон, а значит, в перспективе электронный переводчик можно сделать карманным. Как работает эта система? В компьютере создана скелетная модель человека. Камера улавливает жесты, система моментально их обрабатывает, переводит в буквы, и на мониторе появляется текст. «Если модель определяет, например, что пальцы раскрыты — это буква «В», если пальцы собраны — значит «О», — поясняет автор.
Но это только первый этап в разработке переводчика. Дело в том, что глухие люди для общения используют не только жесты рук, в беседе задействованы и губы, и мимика, и движение головы, и даже тела. Только весь этот набор делает общение максимально насыщенным. Но как заложить все это в переводчик?
— Пока моя программа не распознает мимику и движения губ, но эти компоненты обязательно будут дорабатываться, — обещает Приходько. — Чтобы она улавливала такие тонкости, нужны нейросети и компьютер с мощной видеокартой. А потом надо адаптировать программу для использования на обычном ноутбуке или даже смартфоне. Тогда дополнительного оборудования, помимо обычной камеры, вообще не потребуется.
К разработке переводчика новосибирского программиста подтолкнула сама жизнь. Он глухой с рождения, уже в третьем поколении. Несмотря на это он не только успешно поступил в один из престижных вузов страны, выучил несколько языков программирования, но и окончил магистратуру и аспирантуру. Алексей стал одним из 300 лучших магистрантов страны.
Он надеется, что его электронный переводчик поможет многим глухим студентам получить образование.
Российская газета — Федеральный выпуск: №214(7972)
Поделиться
НаукаТехнологииСоцсфераНовосибирскСибирьВ регионах
причины, симптомы, диагностика и лечение
Пожалуйста, уточняйте информацию по телефонам. +7(925)793-45-41
Глухонемота (сурдомутизм) – врожденное или приобретенное отсутствие слуха, произошедшее до момента, когда ребенок начнет говорить. Проявляется немотой, глухотой, искажением голоса, нарушениями поведения, сложностями в удерживании равновесия, очень развитой мимикой. Приобретенная форма болезни встречается более чем в половине случаев. Чаще встречается у детей, рожденных от близкородственных браков.
Причины
Первым всегда теряется слух, а отсутствие речи – это косвенный признак, возникающий из-за невозможности изучать слова, звуки и воспроизводить их.
Причины врожденной глухонемоты:- TORCH-инфекции во время беременности (токсоплазмоз, краснуха, цитомегаловирус, герпес-инфекция, сифилис, гепатит В).
- Генные мутации (синдром Ваарденбурга, Стиклера, Пендреда, Альпорта, нейрофиброматоз, дисплазия Мондини, болезнь Рефсума и другие).
- Интоксикация плода (алкоголизм матери, наркотическая зависимость, работа с химическими агентами).
Причины приобретенной глухонемоты:
- Родовая травма.
- Поражение слухового нерва или структур внутреннего уха (лабиринтит, болезнь Меньера, кохлеарный неврит и др.).
- Прием ототоксичных лекарств (фторхинолоны, петлевые диуретики, аминогликозиды).
- Инфекции (менингит, скарлатина, корь, брюшной тип, дифтерия, коклюш, сифилис).
Симптомы
Если не было предрасполагающих факторов, которые подтолкнут родителей к определению слуха сразу после рождения ребенка, то глухота долгое время может оставаться незамеченной. В первые месяцы жизни дети плачут и кричат рефлекторно и только к полугодовалому возрасту появляются попытки имитации отдельных звуков.
При глухонемоте данный порядок развития нарушается, взамен отсутствующей речи, активно развивается мимика ребенка. Он шевелит губами, пытаясь скопировать движения родителей. Если заболевание возникло позже 2 лет, то человек перестает реагировать на свое имя, посторонние звуки, музыку. Дети старшего возраста могут жаловаться на шум в ушах или внезапное снижение слуха. Речь, которая успела сформироваться до этого периода, искажается: становится тихая или слишком громкая, монотонная, меняется тембр голоса. Со временем прогрессируют психические нарушения аутического спектра (отчужденность, замкнутость, раздражительность, вспыльчивость).
Долгое отсутствие речевой активность приводит к морфологическим изменениям гортани:
— голосовые связки смыкаются не полностью;
— рано окостеневают хрящи.Без полноценной и своевременной реабилитации дети не могут адаптироваться к жизни в социуме.
Диагностика
Сурдологи и оториноларингологи проверяют функционирование звукопроводящего и звуковоспринимающего аппаратов.
Для этого они используют следующие тесты:- Исследование звукового восприятия (отклик на разные по тембру и громкости звуки).
- ABR-тест (функция слуховых нервов и ядер ствола мозга).
- Нейровизуализация (КТ, МРТ).
- Генетическая диагностика.
Лечение
Как правило, восстановить слух до нормального уровня при сформировавшейся глухонемоте уже не получится. Если заболевание приобретенное, то на ранних его этапах еще можно провести консервативное или оперативное лечение. При врожденном сурдомутизме детям рекомендуется заниматься по специальной развивающей программе. Педагоги обучают ребенка языку жестов, чтению по губам и другим техникам социализации. Помимо этого, возможно применение слуховых аппаратов и имплантов внутреннего уха.
Прогноз течения заболевания неблагоприятный, потеря слуха необратима. Как профилактические меры можно использовать медико-генетическое консультирование, тщательное планирование беременности, ранняя диагностика и лечение инфекционных заболеваний.
Причины врожденной глухонемоты:
Для этого они используют следующие тесты:
Лицензии
Отзывы
© 2022 «Многопрофильная клиника Медицина Плюс», Карта сайта, Лицензия
Обратный звонок
Оставьте свои контакты, и мы свяжемся с Вами в ближайшее время и ответим на все вопросы.
Ваше имя:
Номер телефона:*
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
Поля, отмеченные «*», обязательны для заполнения.
×
Задать вопрос врачу
Ваше имя
Ваш e-mail «*»
Сообщение
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
Поля, отмеченные «*», обязательны для заполнения.
×
Заказать госпитализацию
Ваше имя:
Номер телефона:*
Комментарий:
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
Поля, отмеченные «*», обязательны для заполнения.
×
Оставить отзыв
×
Отправить письмо
Ваше имя
Ваш e-mail
Тема
Сообщение
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
×
Сделайте первый шаг — запишитесь на прием
Оставьте свои контакты, и мы свяжемся с Вами в ближайшее время.
Ваше имя:
Номер телефона или e-mail:*
Выберите дату:
Примечание:
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
Поля, отмеченные «*», обязательны для заполнения.
×
Запись на прием
×
Запись на прием
АкушерствоАнализыАНАЛИЗЫ ПРОГРАММЫБольничный листВедение физиологической беременностиВсе виды справокГастроэнтерологияГинекологияДерматовенерологияЖенское бесплодиеКардиологияМаммологияМедицинская книжка (ЛМК)НеврологияОбщие манипуляции и процедурыОпределение беременностиОториноларингология (ЛОР)ОфтальмологияПрерывание беременностиПрофосмотрыПсихиатрия, психотерапия, наркологияРентген – исследованияТерапияТравматологияУЗИ проходимости маточных трубУЗИ-диагностикаУрологияФлюорографияХирургияЦиркумцизио (обрезание)ЭКГ (ХОЛТЕР) и АД (СМАД)Электрокардиограмма (ЭКГ)Электроэнцефалограмма (ЭЭГ)Эндокринолог
* Согласен с правилами обработки персональных данных установленными в политике конфиденциальности
×
Deaf and Dumb Gesture Language Landing Page.
.. — стоковая иллюстрация [66492419]
Подписка
Номер предмета :
66492419
Увидеть все
Эта стоковая иллюстрация под названием «Целевая страница языка жестов для глухих и немых…»[66492419] включает теги: язык, человек, вектор. Автор этого материала ivector (№1696765). Доступны размеры от S до XL, включая Vector, а цена начинается от 5 долларов США. Вы можете скачать образцы данных с водяными знаками (композиции изображений), проверить качество изображений и использовать Lightbox после регистрации бесплатно.
Увидеть все
Шаблон целевой страницы языка жестов для глухих и немых. Мужской персонаж показывает зайца на ладонях, используя жесты рук и выражение лица без звуков. Общение без слов. Линейная векторная иллюстрация
- 1:1
- 4:5
(8:10) - 3:2(6:4)
- Обычай
:
selectRatio.bind($data, ‘xwide’, true), css: { ‘selected’: cropPreview.selectedRatio() === ‘xwide’}»> 4:3* Вы можете перемещать изображение, перетаскивая его.
Увеличить
Образец данных
Кредиты
Кредиты (авторское право):
вектор
/ ПИКСТА
Подробнее об этом элементе
О модели и разрешении собственности
- Просмотров : 178
Свяжитесь с автором, чтобы спросить об этом элементе
Добавить этого автора в избранное
Предлагаемые категории
- Поза/лицо
- выражение/поведение
- Поза
- указывая
- Ежедневно
- потребности
- Здравоохранение/уход
- запасы
- слух
- помогать
О разрешенном или запрещенном использовании.
Щелкните здесь, чтобы узнать, как отобразить уведомление об авторских правах.
Иллюстрация штока: Шаблон целевой страницы языка жестов для глухих и немых. Мужской персонаж показывает зайца на ладонях, используя жесты рук и выражение лица без звуков. Общение без слов. Теги линейной векторной иллюстрации
язык
мужчина
вектор
жест
рука
жестикулировать
характер
посадка
ладонь
показывать
заяц
использовать
глухой
тупой
с использованием
жестикулируя
лицо
выражение
нет
звук
Международный
коммуникация
слово
линейный
люди
человек
контур
тело
лица
эмоция
руководство
болезнь
безмолвный
символ
приветствие
внимание
счастливый
представитель
указывая
мужской
фон
кролик
Палец
индекс
улыбка
страница
шаблон
концепция
штриховая графика
иллюстрация
- Описание/комментарий
- Шаблон целевой страницы языка жестов для глухих и немых. Мужской персонаж показывает зайца на ладонях, используя жесты рук и выражение лица без звуков. Общение без слов. Линейная векторная иллюстрация
Мужской персонаж показывает зайца на ладонях, используя жесты рук и выражение лица без звуков. Общение без слов. Линейная векторная иллюстрацияМои руки — мой голос: Празднование осведомленности о глухих
«Глухие могут делать что угодно, кроме как слышать» — Марли Мэтлин
В течение многих лет считалось, что сообщество глухих и слабослышащих меньше, чем потому что они не способны слышать. Глухие и слабослышащие люди ничем не отличаются от вас и меня. Сентябрь — это месяц осведомленности о глухих, и хотя многие знают о глухоте или слабослышащих , они могут не знать о культуре или происхождении общества глухих.
Жест как язык
Язык жестов не стал официальным языком до 1960 года, когда Уильям Стокоу, профессор Университета Галлодета, в своем исследовании выступил за легитимность жестового языка как языка (Pare, 2016). Язык жестов — это не набор простых жестов, он такой же сложный и содержательный, как и любой разговорный язык.
По данным Национальной ассоциации глухих (NAD), американский язык жестов (ASL) – это визуальный язык, который осуществляется с помощью комбинации движения, положения и формы кистей и рук. Мимика и движения тела являются дополнительными компонентами языка, помогающими в дальнейшем передать сообщение. Важно знать, что ASL не является универсальным языком для глухих и слабослышащих. Язык жестов, как и разговорные языки, может принимать разные формы. У ASL есть свои собственные правила грамматики, которые уникальны для Америки, в то время как в других странах есть свой собственный язык жестов.
В отличие от других сообществ с ограниченными возможностями, сообщество глухих предпочитает, чтобы к нему обращались как к глухому, а затем как к человеку, а не как к глухому. В основном это происходит из-за того, что глухота рассматривается как часть того, кто они есть, а не как недостаток. Язык, ориентированный на идентичность, и язык, ориентированный на человека, является важным различием.
Культура — это наш фон, и в рамках нашего фона мы можем определять или идентифицировать себя в рамках нашей культуры. Для сообщества глухих существует три различных классификации, к которым может относиться человек: глухой, глухой или слабослышащий.
Глухие, глухие и слабослышащие
Национальная ассоциация глухих утверждает, что разница между заглавной D и строчной буквой d в слове глухих подразумевает, что заглавная D Глухие люди «унаследовали свой язык жестов, используют его как основное средство общаться между собой и иметь набор убеждений о себе и своей связи с обществом в целом». Люди с заглавной буквой D могут родиться глухими или глухими в раннем возрасте.
Нижняя буква d предназначена для глухих людей, у которых могло развиться аудиологическое заболевание, такое как потеря слуха в течение определенного периода времени, болезнь, или которые могли принять культуру глухих после того, как стали глухими. «Хотя эти люди не слышат, у них нет доступа к знаниям, убеждениям и практикам, которые составляют культуру глухих».
(Национальная ассоциация глухих, nd). Эти интерпретации также могут варьироваться от одного глухого человека к другому.
Тугоухость подразумевает, что существует определенный уровень потери слуха, который может быть легким, умеренным или тяжелым. Слабослышащие люди могут использовать различные инструменты, такие как слуховые аппараты и кохлеарные имплантаты , которые могут улучшить их способность обнаруживать звук. Слабослышащие часто могут выбирать между культурой слышащих, глухими или их комбинацией по своему усмотрению.
Какие бывают степени потери слуха? Эшли Хьюз, Au.D. (2019)
Глухие и слабослышащие: нас НЕ нужно лечить. Часто люди думают, что имплантаты исправляют глухоту или улучшают их способность слышать. Для многих эти импланты делают вещи только громче. Например, если вы включаете станцию со статическими помехами, это не даст вам четкости, чтобы услышать станцию, если вы просто включите звук. Имплантаты также могут улавливать другие звуки и частоты, из-за чего их неудобно носить.
Это относится не ко всем ситуациям. Некоторые обнаруживают, что их имплантаты или слуховые аппараты действительно улучшаются и помогают им практически без проблем. Например, Национальная исследовательская больница Бойс-Таун является одним из 15 центров по всей стране, которые тестируют продвижение слухового имплантата, называемого электроакустической стимуляцией (ЭСА). Дженнифер , принимавшая участие в клиническом испытании, заявляет: «У моего решения никогда не было недостатков», […] «Мой слух лучше, чем я надеялась, и мне не терпится поделиться этим с сестрой».
В общем и целом, решение о том, хочет ли человек установить имплант или слуховой аппарат, должно оставаться за этим человеком. Такие пожизненные решения также должны быть исследованы и основаны на желаниях и потребностях этого человека.
Возможность ежедневного общения с глухими может оказать огромное влияние, даже если это такая простая вещь, как заказ еды.
Что можно и чего нельзя делать при общении с глухими
Что нужно делать: Если вы пытаетесь привлечь внимание глухого человека, вспыхните светом или слегка похлопайте его, предпочтительно по плечу
Не делайте этого: толкайте, пинайте или останавливайте их, делая большие движения руками.
Если они далеко, попросите людей постучать по ним, пока они не дойдут до человека, которого вы пытаетесь привлечь. как глухонемой, немой, глухонемой или с нарушением слуха
Можно: использовать выразительное выражение лица или невербальные средства (зрительный контакт, мимику, жесты)
Не следует: слишком преувеличивать выражения лица или рта. Драматические движения рта не помогут глухому или слабослышащему человеку понять вас, и это может быть расценено как оскорбительное. Если вы не можете эффективно общаться, не сдавайтесь, если вы не знаете языка жестов. Попробуйте использовать ручку и бумагу, телефон или подумайте о том, чтобы выучить язык, если вы часто сталкиваетесь с сообществом глухих.
Можно: использовать язык жестов, если можете, в сообществе глухих или в присутствии глухих
Не делать: смотреть на глухих, когда они разговаривают. Хотя наблюдать за тем, как кто-то подписывает, может быть интересно, это может показаться грубым. Подумайте, когда вы можете попытаться ответить на телефонный звонок или поговорить с кем-то.