При создании робототехнического комплекса для восстановления мелкой моторики кисти человека, перенесшего инсульт, важно продумать эффективную методику реабилитации. Можно просто сжимать-разжимать руку, тренируя только «хватательный» функционал кисти, к этому можно добавить принцип биологической обратной связи [1], что повысит эффективность лечения. Однако верхняя конечность человека считается наиболее развитым и эффективным инструментом-органом, представляя собой сложную кинематическую систему. Поэтому важно тренировать кисть с наиболее полным потенциалом действия, чтобы человек восстановил ее двигательную активность по максимуму.
При грамотно поставленной технике человек будет использовать все доступные ему степени свободы кисти, не ограничиваясь такими бытовыми операциями, как взятие в руки какого-то предмета. Дактиль (жестовая азбука) языка позволяет проводить эффективную реабилитацию, поскольку пациент не только разрабатывает руку, но и осваивает новый способ коммуникации, получает обратную связь от подобной тренировки. Ведь большой проблемой во время реабилитации является мотивация человека. Вариант с обучением жестовому языку – очень хорошее подспорье в решении проблемы.
Классификация букв Русского жестового языка (далее РЖЯ) по степени сложности демонстрации
Для создания программы управления робототехническим комплексом следует разбить дактиль (рис. 1) на группы по степени сложности демонстрации разрабатываемым объектом.
Рис. 1. Русская пальцевая азбука
Согласно Гейльману [2], основные группы дактиля в РЖЯ определены следующим образом:
1) А Е С В
2) О Р Н Ш Щ
3) К И Й У
4) З Д Ц Я Б
5) Г П Л М Т
6) Ч Ж Ф Ю
7) Х Э Ь Ъ Ы
Для классификации выбраны параметры, по которым определяется сложность демонстрации буквы.
Обозначено количество степеней свободы на каждом суставе кисти (рис. 3). Определено, в каком направлении может двигаться сустав (рис. 2). В дальнейшем от количества степеней свободы будет зависеть количество задействованных сервоприводов (или других приводящих элементов – актуаторов) робототехнического комплекса. Чем больше актуаторов работает одновременно, тем сложнее такой жест в управлении. Актуаторы можно условно можно разделить на «основные» и «боковые». «Основные» отвечают за сгибание и разгибание суставов, а «боковые» – за отклонение пальца влево/вправо от центрального положения (рис. 2). Также рассмотрены аппаратные ограничения выбранных нами актуаторов [3].
Рис. 2. Демонстрация возможного движения суставов пальца
Каждая буква проанализирована на величину задействованных суставов [4].
Рис. 3. Схема кисти со степенями свободы
Форма описания букв
Буква; Количество задействованных степеней свободы (количество степеней свободы каждого сустава суммируется); [Наименование пальца. Наименования задействованных суставов]
Бол. – Большой; У. – Указательный; С. – Средний; Без. – Безымянный; М. – Мизинец.
К примеру: У.abc – сгиб указательного пальца во всех трех суставах полностью; 
– сгиб среднего пальца во всех трех суставах наполовину. d – сгиб самой кисти.
Следуя этой форме, опишем все дактилемы русского алфавита:
А; 21; [Бол.abc; У.abc; С.abc; Без.abc; М.abc]
Б; 15; [Бол.abc; С.ab; Без.abc; М.abc]
В; 0;
Г; 15; [С.abc; Без.abc; М.abc; d]
Д; 16; [Бол.abc; Без.abc; М.abc; d]
Е; 21; [
; 
; 
; 
; 
]
Е; 24; [
; 
; 
; 
; 
]; d]
Ж; 10; [Бол.c; У.c; С.c; Без.c; М.c]
З; 20; [Бол.abc; С.abc; Без.abc; М.abc; d]
И; 14; [Бол.abc; У.abc; С.abc]
Й; 17; [Бол.abc; У.abc; С.abc; d]
К; 16; [Бол.abc; Без.abc; М.abc; d]
Л; 16; [Бол.abc; Без.abc; М.abc; d – в другую сторону]
М; 9; [Бол.abc; М.abc; d]
Н; 9; [Бол.abc; Без.abc]
О; 9; [Бол.abc; У.abc]
П; 16; [Бол.abc; Без.abc; М.abc; d]
Р; 9; [Бол.abc; С.abc]
С; 11; [
; 
; 
; 
; 
]
Т; 12; [Бол.abc; М.abc; d]
У; 12; [У.abc; С.abc; Без.abc]
Ф; 8; [У.c; С.c; Без.c; М.c]
Х; 19; [Бол.abc; 
; С.abc; Без.abc; М.abc]
Ц; 13; [Бол.abc; Без.abc; М.abc] + движение руки
Ч; 14; [Бол.c; У.c; С.c; Без.abc; М.abc]
Ш; 9; [Бол.abc; М.abc]
Щ; 9; [Бол.abc; М.abc] + движение руки
Ъ; 12; [С.abc; Без.abc; М.abc] + движение руки в сторону
Ы; 13; [Бол.abc; С.abc; Без.abc]
Ь; 12; [С.abc; Без.abc; М.abc] + движение руки в сторону противоположную букве Ъ.
Э; 13; [У.a; С.abc; Без.abc; М.abc]
Ю; 8; [Бол.c; У.c; С.c; Без.c]
Я; 14+2; [Бол.abc; Без.abc; М.abc + У.с (перекрестие с С.)]
Таким образом, после анализа полученных форм и добавления к ним особенностей работы разрабатываемого робототехнического комплекса группы букв были сгруппированы по аналогии с разделением в РЖЯ. Учтена разница в использовании «основных» и «боковых» сервоприводов. Если сустав в узле c (рис. 3) задействован не только на сгиб, но и на отклонение в сторону, сложность заметно возрастает. «Основными» актуаторами проще управлять, это и влияет на классификацию дактиля далее. Другими словами, «боковые» актуаторы имеют более высокий коэффициент сложности, чем «основные».
Так, например, для буквы А необходимо только согнуть все пальцы в нижних суставах (верхние согнутся вслед за ними, без приводящих элементов). А уже для буквы Б необходимо согнуть средний сустав среднего пальца и вторым актуатором не давать согнуться нижнему суставу. К тому же указательный палец необходимо будет прижать к среднему «боковым» актуатором.
Формы, приведенные выше, – это основа для управления и программирования робототехнического комплекса. Чтобы вычислить сложность дактиля, коэффициент «основных» сервоприводов приняли за 1, а «боковых» – за 1,5.
1) А Е С В – легкая в исполнении группа; задействует все «основные» приводы устройства.
2) О Р Н Ш Щ – легкая в исполнении группа; задействует часть «основных» приводов устройства (немного сложнее первой группы, поскольку некоторые из актуаторов работают на удержание пальцев в одном положении (т.е. работают в обратном направлении)).
3) К И Й У – средняя в исполнении группа; имеется движение рукой (сложность возрастает из-за необходимости использования движения кисти целиком, что может быть не предусмотрено разрабатываемым устройством.)
4) З Д Ц Я Б – самая сложная в исполнении группа; характерно нетипичное движение пальцев (комбинация работы «основных» и «боковых» актуаторов, а также движения кистью целиком).
5) Г П Л М Т – средняя в исполнении группа (вся кисть находится в согнутом положении).
6) Ч Ж Ф Ю – сложная в исполнении группа.
7) Х Э Ь Ъ Ы – средняя/сложная в исполнении группа (некоторые буквы требуют работы кисти целиком).
Если распределить группы не по Гейльману [2], а по степени сложности от самой легкой до самой сложной, получим: (1, 2, 3, 5, 7, 6, 4). Реализовывать возможность демонстрации этих букв робототехническим комплексом следует, начиная с 1-й группы.
Описанная классификация дактилем является основой для проектирования базы данных и программного обеспечения по управлению робототехническими системами, а также управлению виртуальными 3d-моделями антропоморфных рук. Частным применением исследования является использование классификации при создании прототипа программно-аппаратного комплекса антропоморфной роботизированной кисти для коммуникативного взаимодействия с использованием русской дактильной азбуки.
Проектирование базы данных
На основании текстового описания конфигураций пальцев проектируем базу данных. Используем латинские слова и сокращения.
Id – порядковый номер записи, Letter – буква дактиля, Sum – количество задействованных степеней свободы, далее – атрибуты по каждой фаланге пальцев, где Thumb (T) – большой, Pointer (P) – указательный, Middle (M) – средний, Ring (R) – безымянный, Little (L) – мизинец, D – сгиб самой кисти, Add – дополнительные параметры. A, b и c – узлы в соответствии с рис. 3. Данные для дактилем «А», «Б», «В» и «С» как пример заполнения в базе представлены в таблице.
Пример заполнения таблицы БД
|
Id |
Letter |
Sum |
T_a |
T_b |
T_c |
P_a |
P_b |
P_c |
M_a |
M_b |
M_c |
R_a |
R_b |
R_c |
L_a |
L_b |
L_c |
D |
Add |
|
1 |
А |
21 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
|
2 |
Б |
15 |
1 |
1 |
1 |
0 |
0 |
0 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
|
3 |
В |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
… |
|||||||||||||||||||
|
19 |
С |
11 |
0.5 |
0 |
0.5 |
0.5 |
0.5 |
0 |
0.5 |
0.5 |
0 |
0.5 |
0.5 |
0 |
0.5 |
0.5 |
0 |
0 |
0 |
Проектирование программного обеспечения
Для воспроизведения жестов необходимо использовать антропоморфный робототехнический комплекс типа «робо-рука» или экзоскелет, состоящий из предплечья и кисти. Кисть, в свою очередь, состоит из ладони и пальцев, в каждой из которых по три фаланги. Фаланги имеют по одной степени свободы, кисть обладает возможностью изгиба в запястье.
Ознакомившись с исследованиями функциональных параметров различных актуаторов [5], авторы пришли к выводу, что в качестве механизмов движений в подобных робототехнических системах могут быть использованы такие различные виды актуаторов, как сервоприводы, шаговые двигатели и т.д. Для каждой фаланги используем один актуатор.
Для реализации конфигураций функционала демонстрации дактилем необходимо определить для актуаторов минимальные, средние и максимальные положения. При выставлении минимальных положений для всех трех фаланг палец будет находиться в открытом состоянии. Минимальным значением считаем 0о, средним – 45о, а максимальным – 90о. На рис. 4 представлен общий алгоритм работы программного обеспечения. Рассмотрим каждый его этап.
Рис. 4. Общий алгоритм работы ПО
1. Прием буквы в виде текстовой строки
Программа может принимать лишь одно значение на вход. Для демонстрации дактилемы отводится до 2 секунд. В течение данного промежутка времени прием данных отключен или же принятые данные встают в очередь на обработку. Используемая функция – sendLetter().
2. Определение необходимых конфигу- раций
По принятому в п. 1 значению буквы идет обращение к базе данных. Используемая функция – getParamsByLetter(). Производится поиск значения по столбцу Letter. Если значение не найдено, обработка завершается. Если значение найдено, то функция возвращает массив параметров для обработки. Параметры интерпретируются в угловые значения, например 1 = 90.
3. Определение разницы между положением фаланг текущим и целевым
Происходит считывание текущих положений валов актуаторов. Используемая функция – getCurrentPositions(). Производится расчет разницы валов состояния текущего и целевого. Целевыми параметрами считаем значения ответа по функции getParamsByLetter().
4. Произведение действия
По окончании расчета разницы вызывается функция setPositions(), которая на вход получает необходимые углы для применения к каждому актуатору. Функция приводит в действие механизмы движений, тем самым происходит демонстрация дактилемы.
Заключение
Одной из самых сложных частей антропоморфного робота является кисть. Кроме таких основных функций, как захват и перемещение объектов, кисть обладает коммуникативными свойствами. Эти свойства проявляются в виде демонстрации жестов. Жесты в РЖЯ состоят из базовых конфигураций, которые воспроизводятся в буквах дактильного алфавита. Формализация дактильного алфавита является сложной задачей, так как каждая дактилема имеет множество параметров [6].
В данном исследовании предложены классификация дактилем по степени сложности исполнения, а также их формализованное описание, спроектированы прототип базы данных и алгоритм программы по демонстрации жестов. Данный задел может быть применен как в робототехнических системах, таких как экзоскелет или робот-сурдопереводчик, так и в виртуальных моделях, использующих антропоморфные принципы построения рук.
Библиографическая ссылка
Лаврененко И.С., Филиппович Ю.Н., Арутюнян М.Г. ФОРМАЛИЗАЦИЯ КЛАССОВ ДАКТИЛЕМ РУССКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ ИСПОЛЬЗОВАНИЯ В РОБОТОТЕХНИЧЕСКИХ СИСТЕМАХ ТИПА «РОБО-РУКА» // Современные наукоемкие технологии. – 2021. – № 9. – С. 81-85;URL: https://top-technologies.ru/ru/article/view?id=38820 (дата обращения: 17.04.2024).