Протезы Моторики бывают разные: активные и бионические, односхватные и многосхватные. Последние поддерживают сразу несколько жестов, а оператор может переключаться между ними при помощи мобильного приложения. В идеальном мире мобильное приложение вообще не понадобиться для такого переключения, пользователь сможет просто выполнять разные жесты.
Специалисты из Моторики продолжают работу над улучшением устройств и приближают этот идеальный мир. Уже существуют опытные образцы, которые работают таким образом. Но как?
Что такое артикулированные жесты?
Артикулированные жесты — это такой набор состояний фантомной руки пользователя человеко-машинного интерфейса, который он может удерживать на протяжении некоторого времени, а также который может быть идеально распознан интерфейсом, основанным на использовании искусственного интеллекта или системы машинного обучения.
Главные свойства артикулированных жестов заключаются в том, что, во-первых, машина может отличить их друг от друга, а во-вторых, человек может их повторять бесконечное количество раз.
Почему в это определение одновременно включаются и особенности исполнения жеста пилотом и особенности их распознавания программно-аппаратным комплексом?
Суть в том, что человеко-машинный интерфейс предполагает взаимодействие человека и машины. Человек исполняет жест, который, по сути, является командой, а машина эту команду исполняет. Команды должны быть воспроизводимы и различимы.
Когда такая система управления протезом будет внедрена? Какой она будет на практике?
Такие системы управления активно тестируются и скоро будут внедрены в продукты Моторики.
На данный момент предполагается стандартизованный набор артикулированных жестов для разработки системы управления с помощью оптомиографии:
- Нейтральное состояние, рука расслаблена
- Сгиб большого пальца
- Сжатие кулака
- Разгибание всех пальцев
- Щипок
- Пистолет
- Флексия (сгибание) кисти
- Экстензия (разгибание) кисти
Фактически выполняемый пользователем жест не обязательно анатомически идентичен жестам, указанным в списке. В действительности, жестом будет являться физиологическое состояние руки, которое может быть выполнено пользователем многократно без значительных усилий, удобное и не доставляющее дискомфорта.
Все пользователи смогут воспроизводить восемь различных жестов при помощи системы управления с артикулированными жестами?
Такое управление протезом требует обучения от пилота. На практике высокая точность классификации означает, что после обучения жесты не путаются между собой и каждый из жестов достаточно сильно отличается от остальных, т.е. модель классифицирует конкретный жест относительно остальных с метрикой больше некоторого порога.
На практике составляется матрица ошибок. Она характеризует точность распознавания жестов, где значения на диагонали матрицы показывают долю верно предсказанных жестов.
Набор жестов, которые могут быть артикулированными, зависит от уровня травмы и сохранности мышц. Количество мышц в предплечье значительно превышает количество мышц плеча, поэтому из руки, где предплечье сохраняется, можно получить больше информации
Также, если соответствующие мышцы сохраняются, в случае предплечья мы можем получить данные не только движении кисти в целом, но и о движении пальцев, так как в предплечье есть мышцы, которые контролируют их движения. На плече располагаются мышцы, отвечающие за сгибание/разгибание руки в локтевом и плечевом суставах.
Все пользователи смогут управлять протезом при помощи артикулированных жестов?
Система не является простой и требует усилий как от специалистов, так и от пользователя. В первую очередь это обусловлено сложностью в нахождении числа независимых переменных в приходящем информационном потоке при определении состояния конечности. Иными словами, специалистам приходится проделывать большую работу для поиска и распознавания таких жестов. Эта задача решается эмпирически в рамках предпротезной диагностики пилотов, при которой определяется число артикулированных жестов.
Как проходит подготовка?
Для определения числа артикулированных жестов выполняется сбор данных с исследуемой конечности согласно протоколу сбора данных и последующим анализом. В протокол сбора данных входят жесты, которые описывают различные состояния конечности.
На этапе подготовки специалисты находят жесты, которые пользователь уже может артикулировать, а затем, постепенно, в процессе обучения, их число увеличивается. В случае с пилотом испытателем Моторики Валерией Ранкич, изначально было обнаружено до четырех артикулируемых жестов, а далее, в процессе обучение, это число увеличилось до восьми.
Что дальше?
После нахождения всех жестов, повышения точности их исполнения во время тренировочного процесса, происходит их дальнейший биндинг (привязка) к жестам, которые исполняет бионическая рука.
Пользователь получает протез и продолжает процесс освоения устройства, который не заканчивается никогда.