Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,898

ФОРМАЛИЗАЦИЯ КЛАССОВ ДАКТИЛЕМ РУССКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ ИСПОЛЬЗОВАНИЯ В РОБОТОТЕХНИЧЕСКИХ СИСТЕМАХ ТИПА «РОБО-РУКА»

Лаврененко И.С. 1 Филиппович Ю.Н. 1 Арутюнян М.Г. 1
1 Московский политехнический университет
Обучение жестовому языку с использованием робототехнических систем типа «робо-рука» как решение проблемы эффективной реабилитации пациентов, перенесших инсульт, ставит перед нами вопрос о переводе дактилем в формализованный вид. Дактиль языка позволяет проводить эффективную реабилитацию, поскольку пациент не только разрабатывает руку, но и осваивает новый способ коммуникации, получает обратную связь от подобной тренировки. Поэтому формализация классов дактилем русского жестового языка является актуальной задачей. В данной статье приводится классификация букв русской дактильной азбуки по количеству задействованных степеней свободы с целью формализации дактилем русского жестового языка. Приведены семь основных групп дактиля, представлена форма описания каждой дактилемы с учетом особенностей работы робототехнического комплекса. На основании текстового описания конфигураций пальцев наполняется спроектированная база данных с атрибутами для каждой фаланги. Описывается процесс создания на основе формализованных данных программного обеспечения по управлению робототехническими системами типа «робо-рука» с учетом функциональных параметров различных актуаторов. Для реализации конфигураций функционала демонстрации дактилем определены минимальные, средние и максимальные положения для актуаторов. Описаны области применения формализованных данных.
робототехника
экзоскелет
русский жестовый язык
дактильная азбука
1. Пугачев А.С., Коваленко И.А. Применение биологической обратной связи в биомедицине // Современная наука: теоретический и практический взгляд: сборник научных статей / Научный редактор Д.В. Фурсова. М.: Изд-во «Перо», 2018. С. 100–102.
2. Гейльман И.Ф. Дактилология: учебное пособие. Л.: ЛВЦ ВОГ, 1981. 88 c.
3. Рассудов Л.Н. Учет аппаратных ограничений при построении систем управления сервопривода // Электричество. 2020. № 7. С. 57–64. DOI 10.24160/0013-5380-2020-7-57-64.
4. Бухгольц Н.Н. Основной курс теоретической механики (часть первая). М.: Изд-во «Наука», Главная редакция физико-математической литературы, 1972. 468 с.
5. Мерецкая Е.Р., Чернышев А.В. Расчетно-теоретическое исследование и определение функциональных параметров актуатора пневмомеханического устройства // Техника и технология нефтехимического и нефтегазового производства: материалы 8-й международной научно-технической конференции (г. Омск, 26 февраля‑02 марта 2018 г.). Омск: Омский государственный технический университет, 2018. С. 97–98.
6. Купреев К.М. Семантика русского жестового языка // Интеллектуальные технологии и средства реабилитации и абилитации людей с ограниченными возможностями (ИТСР-2018): труды III международной конференции (г. Москва, 29‑30 ноября 2018 г.). М.: Московский государственный гуманитарно-экономический университет, 2018. С. 247–254.

При создании робототехнического комплекса для восстановления мелкой моторики кисти человека, перенесшего инсульт, важно продумать эффективную методику реабилитации. Можно просто сжимать-разжимать руку, тренируя только «хватательный» функционал кисти, к этому можно добавить принцип биологической обратной связи [1], что повысит эффективность лечения. Однако верхняя конечность человека считается наиболее развитым и эффективным инструментом-органом, представляя собой сложную кинематическую систему. Поэтому важно тренировать кисть с наиболее полным потенциалом действия, чтобы человек восстановил ее двигательную активность по максимуму.

При грамотно поставленной технике человек будет использовать все доступные ему степени свободы кисти, не ограничиваясь такими бытовыми операциями, как взятие в руки какого-то предмета. Дактиль (жестовая азбука) языка позволяет проводить эффективную реабилитацию, поскольку пациент не только разрабатывает руку, но и осваивает новый способ коммуникации, получает обратную связь от подобной тренировки. Ведь большой проблемой во время реабилитации является мотивация человека. Вариант с обучением жестовому языку – очень хорошее подспорье в решении проблемы.

Классификация букв Русского жестового языка (далее РЖЯ) по степени сложности демонстрации

Для создания программы управления робототехническим комплексом следует разбить дактиль (рис. 1) на группы по степени сложности демонстрации разрабатываемым объектом.

missing image file

Рис. 1. Русская пальцевая азбука

Согласно Гейльману [2], основные группы дактиля в РЖЯ определены следующим образом:

1) А Е С В

2) О Р Н Ш Щ

3) К И Й У

4) З Д Ц Я Б

5) Г П Л М Т

6) Ч Ж Ф Ю

7) Х Э Ь Ъ Ы

Для классификации выбраны параметры, по которым определяется сложность демонстрации буквы.

Обозначено количество степеней свободы на каждом суставе кисти (рис. 3). Определено, в каком направлении может двигаться сустав (рис. 2). В дальнейшем от количества степеней свободы будет зависеть количество задействованных сервоприводов (или других приводящих элементов – актуаторов) робототехнического комплекса. Чем больше актуаторов работает одновременно, тем сложнее такой жест в управлении. Актуаторы можно условно можно разделить на «основные» и «боковые». «Основные» отвечают за сгибание и разгибание суставов, а «боковые» – за отклонение пальца влево/вправо от центрального положения (рис. 2). Также рассмотрены аппаратные ограничения выбранных нами актуаторов [3].

missing image file

Рис. 2. Демонстрация возможного движения суставов пальца

Каждая буква проанализирована на величину задействованных суставов [4].

missing image file

Рис. 3. Схема кисти со степенями свободы

Форма описания букв

Буква; Количество задействованных степеней свободы (количество степеней свободы каждого сустава суммируется); [Наименование пальца. Наименования задействованных суставов]

Бол. – Большой; У. – Указательный; С. – Средний; Без. – Безымянный; М. – Мизинец.

К примеру: У.abc – сгиб указательного пальца во всех трех суставах полностью; missing image file – сгиб среднего пальца во всех трех суставах наполовину. d – сгиб самой кисти.

Следуя этой форме, опишем все дактилемы русского алфавита:

А; 21; [Бол.abc; У.abc; С.abc; Без.abc; М.abc]

Б; 15; [Бол.abc; С.ab; Без.abc; М.abc]

В; 0;

Г; 15; [С.abc; Без.abc; М.abc; d]

Д; 16; [Бол.abc; Без.abc; М.abc; d]

Е; 21; [missing image file; missing image file; missing image file; missing image file; missing image file]

Е; 24; [missing image file; missing image file; missing image file; missing image file; missing image file]; d]

Ж; 10; [Бол.c; У.c; С.c; Без.c; М.c]

З; 20; [Бол.abc; С.abc; Без.abc; М.abc; d]

И; 14; [Бол.abc; У.abc; С.abc]

Й; 17; [Бол.abc; У.abc; С.abc; d]

К; 16; [Бол.abc; Без.abc; М.abc; d]

Л; 16; [Бол.abc; Без.abc; М.abc; d – в другую сторону]

М; 9; [Бол.abc; М.abc; d]

Н; 9; [Бол.abc; Без.abc]

О; 9; [Бол.abc; У.abc]

П; 16; [Бол.abc; Без.abc; М.abc; d]

Р; 9; [Бол.abc; С.abc]

С; 11; [missing image file; missing image file; missing image file; missing image file; missing image file]

Т; 12; [Бол.abc; М.abc; d]

У; 12; [У.abc; С.abc; Без.abc]

Ф; 8; [У.c; С.c; Без.c; М.c]

Х; 19; [Бол.abc; missing image file; С.abc; Без.abc; М.abc]

Ц; 13; [Бол.abc; Без.abc; М.abc] + движение руки

Ч; 14; [Бол.c; У.c; С.c; Без.abc; М.abc]

Ш; 9; [Бол.abc; М.abc]

Щ; 9; [Бол.abc; М.abc] + движение руки

Ъ; 12; [С.abc; Без.abc; М.abc] + движение руки в сторону

Ы; 13; [Бол.abc; С.abc; Без.abc]

Ь; 12; [С.abc; Без.abc; М.abc] + движение руки в сторону противоположную букве Ъ.

Э; 13; [У.a; С.abc; Без.abc; М.abc]

Ю; 8; [Бол.c; У.c; С.c; Без.c]

Я; 14+2; [Бол.abc; Без.abc; М.abc + У.с (перекрестие с С.)]

Таким образом, после анализа полученных форм и добавления к ним особенностей работы разрабатываемого робототехнического комплекса группы букв были сгруппированы по аналогии с разделением в РЖЯ. Учтена разница в использовании «основных» и «боковых» сервоприводов. Если сустав в узле c (рис. 3) задействован не только на сгиб, но и на отклонение в сторону, сложность заметно возрастает. «Основными» актуаторами проще управлять, это и влияет на классификацию дактиля далее. Другими словами, «боковые» актуаторы имеют более высокий коэффициент сложности, чем «основные».

Так, например, для буквы А необходимо только согнуть все пальцы в нижних суставах (верхние согнутся вслед за ними, без приводящих элементов). А уже для буквы Б необходимо согнуть средний сустав среднего пальца и вторым актуатором не давать согнуться нижнему суставу. К тому же указательный палец необходимо будет прижать к среднему «боковым» актуатором.

Формы, приведенные выше, – это основа для управления и программирования робототехнического комплекса. Чтобы вычислить сложность дактиля, коэффициент «основных» сервоприводов приняли за 1, а «боковых» – за 1,5.

1) А Е С В – легкая в исполнении группа; задействует все «основные» приводы устройства.

2) О Р Н Ш Щ – легкая в исполнении группа; задействует часть «основных» приводов устройства (немного сложнее первой группы, поскольку некоторые из актуаторов работают на удержание пальцев в одном положении (т.е. работают в обратном направлении)).

3) К И Й У – средняя в исполнении группа; имеется движение рукой (сложность возрастает из-за необходимости использования движения кисти целиком, что может быть не предусмотрено разрабатываемым устройством.)

4) З Д Ц Я Б – самая сложная в исполнении группа; характерно нетипичное движение пальцев (комбинация работы «основных» и «боковых» актуаторов, а также движения кистью целиком).

5) Г П Л М Т – средняя в исполнении группа (вся кисть находится в согнутом положении).

6) Ч Ж Ф Ю – сложная в исполнении группа.

7) Х Э Ь Ъ Ы – средняя/сложная в исполнении группа (некоторые буквы требуют работы кисти целиком).

Если распределить группы не по Гейльману [2], а по степени сложности от самой легкой до самой сложной, получим: (1, 2, 3, 5, 7, 6, 4). Реализовывать возможность демонстрации этих букв робототехническим комплексом следует, начиная с 1-й группы.

Описанная классификация дактилем является основой для проектирования базы данных и программного обеспечения по управлению робототехническими системами, а также управлению виртуальными 3d-моделями антропоморфных рук. Частным применением исследования является использование классификации при создании прототипа программно-аппаратного комплекса антропоморфной роботизированной кисти для коммуникативного взаимодействия с использованием русской дактильной азбуки.

Проектирование базы данных

На основании текстового описания конфигураций пальцев проектируем базу данных. Используем латинские слова и сокращения.

Id – порядковый номер записи, Letter – буква дактиля, Sum – количество задействованных степеней свободы, далее – атрибуты по каждой фаланге пальцев, где Thumb (T) – большой, Pointer (P) – указательный, Middle (M) – средний, Ring (R) – безымянный, Little (L) – мизинец, D – сгиб самой кисти, Add – дополнительные параметры. A, b и c – узлы в соответствии с рис. 3. Данные для дактилем «А», «Б», «В» и «С» как пример заполнения в базе представлены в таблице.

Пример заполнения таблицы БД

Id

Letter

Sum

T_a

T_b

T_c

P_a

P_b

P_c

M_a

M_b

M_c

R_a

R_b

R_c

L_a

L_b

L_c

D

Add

1

А

21

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

0

0

2

Б

15

1

1

1

0

0

0

1

1

0

1

1

1

1

1

1

0

0

3

В

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

                                     

19

С

11

0.5

0

0.5

0.5

0.5

0

0.5

0.5

0

0.5

0.5

0

0.5

0.5

0

0

0

Проектирование программного обеспечения

Для воспроизведения жестов необходимо использовать антропоморфный робототехнический комплекс типа «робо-рука» или экзоскелет, состоящий из предплечья и кисти. Кисть, в свою очередь, состоит из ладони и пальцев, в каждой из которых по три фаланги. Фаланги имеют по одной степени свободы, кисть обладает возможностью изгиба в запястье.

Ознакомившись с исследованиями функциональных параметров различных актуаторов [5], авторы пришли к выводу, что в качестве механизмов движений в подобных робототехнических системах могут быть использованы такие различные виды актуаторов, как сервоприводы, шаговые двигатели и т.д. Для каждой фаланги используем один актуатор.

Для реализации конфигураций функционала демонстрации дактилем необходимо определить для актуаторов минимальные, средние и максимальные положения. При выставлении минимальных положений для всех трех фаланг палец будет находиться в открытом состоянии. Минимальным значением считаем 0о, средним – 45о, а максимальным – 90о. На рис. 4 представлен общий алгоритм работы программного обеспечения. Рассмотрим каждый его этап.

missing image file

Рис. 4. Общий алгоритм работы ПО

1. Прием буквы в виде текстовой строки

Программа может принимать лишь одно значение на вход. Для демонстрации дактилемы отводится до 2 секунд. В течение данного промежутка времени прием данных отключен или же принятые данные встают в очередь на обработку. Используемая функция – sendLetter().

2. Определение необходимых конфигу- раций

По принятому в п. 1 значению буквы идет обращение к базе данных. Используемая функция – getParamsByLetter(). Производится поиск значения по столбцу Letter. Если значение не найдено, обработка завершается. Если значение найдено, то функция возвращает массив параметров для обработки. Параметры интерпретируются в угловые значения, например 1 = 90.

3. Определение разницы между положением фаланг текущим и целевым

Происходит считывание текущих положений валов актуаторов. Используемая функция – getCurrentPositions(). Производится расчет разницы валов состояния текущего и целевого. Целевыми параметрами считаем значения ответа по функции getParamsByLetter().

4. Произведение действия

По окончании расчета разницы вызывается функция setPositions(), которая на вход получает необходимые углы для применения к каждому актуатору. Функция приводит в действие механизмы движений, тем самым происходит демонстрация дактилемы.

Заключение

Одной из самых сложных частей антропоморфного робота является кисть. Кроме таких основных функций, как захват и перемещение объектов, кисть обладает коммуникативными свойствами. Эти свойства проявляются в виде демонстрации жестов. Жесты в РЖЯ состоят из базовых конфигураций, которые воспроизводятся в буквах дактильного алфавита. Формализация дактильного алфавита является сложной задачей, так как каждая дактилема имеет множество параметров [6].

В данном исследовании предложены классификация дактилем по степени сложности исполнения, а также их формализованное описание, спроектированы прототип базы данных и алгоритм программы по демонстрации жестов. Данный задел может быть применен как в робототехнических системах, таких как экзоскелет или робот-сурдопереводчик, так и в виртуальных моделях, использующих антропоморфные принципы построения рук.


Библиографическая ссылка

Лаврененко И.С., Филиппович Ю.Н., Арутюнян М.Г. ФОРМАЛИЗАЦИЯ КЛАССОВ ДАКТИЛЕМ РУССКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ ИСПОЛЬЗОВАНИЯ В РОБОТОТЕХНИЧЕСКИХ СИСТЕМАХ ТИПА «РОБО-РУКА» // Современные наукоемкие технологии. – 2021. – № 9. – С. 81-85;
URL: https://top-technologies.ru/ru/article/view?id=38820 (дата обращения: 29.11.2022).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074