Бесконтактное интерактивное обучение мягких роботов через гибкие бимодальные сенсорные интерфейсы

Nature Communications, том 13, номер статьи: 5030 (2022 г.) Цитировать эту статью

9527 Доступов

15 цитат

15 Альтметрика

Подробности о метриках

В этой статье мы предлагаем мультимодальный гибкий сенсорный интерфейс для интерактивного обучения мягких роботов навыкам передвижения голыми человеческими руками. Во-первых, мы разрабатываем гибкую бимодальную интеллектуальную кожу (FBSS) на основе трибоэлектрического наногенератора и сенсора жидкого металла, которая может выполнять одновременное тактильное и бесконтактное зондирование и различать эти два режима в реальном времени. Благодаря FBSS мягкие роботы могут самостоятельно реагировать на тактильные и бесконтактные стимулы. Затем мы предлагаем метод дистанционного управления, который позволяет людям обучать мягких движений роботов посредством зрительно-моторной координации. Результаты показали, что участники могут эффективно обучать самореагирующий манипулятор мягкого континуума сложным движениям в трехмерном пространстве с помощью метода «переключения датчиков и обучения» всего за несколько минут. Мягкий манипулятор может повторять движения, которым научил человека, и воспроизводить их с разной скоростью. Наконец, мы демонстрируем, что люди могут легко научить мягкий манипулятор выполнять определенные задачи, такие как прохождение лабиринта с ручкой и бумагой, взятие мазка из горла и преодоление барьера, чтобы схватить объект. Мы полагаем, что этот удобный для пользователя, непрограммируемый метод обучения, основанный на гибких мультимодальных сенсорных интерфейсах, может широко расширить области, в которых люди взаимодействуют с мягкими роботами и используют их.

Мягкие роботы привлекают все большее внимание своим огромным потенциалом в реальных приложениях1,2,3,4,5,6,7,8. Благодаря высокой гибкости мягкие роботы имеют исключительные преимущества перед жесткими роботами в плане безопасного взаимодействия с людьми в широком диапазоне сред9,10,11,12,13. Однако, поскольку мягких роботов сложно моделировать и программировать, неспециалисты часто сталкиваются с серьезными препятствиями при работе с мягкими роботами для достижения определенных движений и выполнения определенных задач14,15,16,17,18. Интерактивный метод обучения, который мог бы эффективно и гибко «обучить» моделям движения мягких роботов, принес бы огромную пользу пользователям дома, на производственных линиях и в других неструктурированных средах (рис. 1). В отличие от жестких роботов19,20,21, существует очень мало исследований, демонстрирующих обучение мягких роботов посредством взаимодействия с человеком. Это связано с тем, что существуют две основные проблемы в обеспечении обучения мягким роботам посредством взаимодействия человека: этот процесс требует (1) мультимодального, универсального и надежного гибкого сенсорного устройства для взаимодействия между мягким роботом и человеком-демонстратором; и (2) удобный для пользователя непрограммируемый метод обучения для передачи инструкций человека-демонстратора мягким роботам.

Люди могут «научить» робота выполнять различные задачи, манипулируя роботом бесконтактным способом.

Что касается первой проблемы, большинство предыдущих исследований были сосредоточены на тактильном ощущении мягких роботов, которые могут реагировать только на физическое прикосновение и не реагировать на бесконтактные стимулы. Трибоэлектрический наногенератор (ТЭНГ), который использует совмещенный эффект контактной электрификации и электростатической индукции, может преобразовывать как тактильные, так и бесконтактные стимулы в электрические сигналы22,23,24,25,26. Трибоэлектрические датчики на основе ТЭНГ имеют уникальные преимущества для мягких роботов благодаря широкому диапазону состава материалов (например, от низкого до высокого модуля Юнга), легко изготавливаемой простой конструкции, высокой чувствительности и быстрому времени отклика27,28,29,30,31 ,32. Предыдущие исследования, в которых использовались гибкие трибоэлектрические материалы и конструкции, достигли значительного прогресса в измерении давления и напряжения33,34,35,36,37,38. Также появились предварительные работы, посвященные бесконтактному распознаванию39,40,41,42. Однако, поскольку тактильная и бесконтактная стимуляция приводит к одинаковым тенденциям электрических изменений, трибоэлектрическим датчикам сложно точно различать тактильные и бесконтактные сигналы в режиме реального времени43,44 (дополнительные рисунки 1A, B и дополнительный фильм 1). Таким образом, гибкие трибоэлектрические датчики, способные осуществлять тактильное и бесконтактное считывание в реальном времени, еще предстоит исследовать, что может заложить исследовательскую основу для новой парадигмы мягкого роботизированного интерактивного обучения.