Исследователи обучили робота-повара смотреть и учиться на кулинарных видеороликах, а также воссоздавать само блюдо.
Исследователи из Кембриджского университета запрограммировали своего робота-повара кулинарной книгой из восьми простых рецептов салатов. После просмотра видеоролика, в котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и приготовить его.
Кроме того, эти видеоролики помогли роботу постепенно добавлять продукты в свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Их результаты, опубликованные в журнале IEEE Access, демонстрируют, как видеоконтент может быть ценным и богатым источником данных для автоматизированного производства продуктов питания и может упростить и удешевить развертывание роботов-поваров.
Роботы-повара десятилетиями фигурировали в научной фантастике, но на самом деле приготовление пищи для робота — сложная задача. Несколько коммерческих компаний построили прототипы роботов-поваров, хотя ни один из них в настоящее время не доступен в продаже, и они значительно отстают от своих коллег-людей с точки зрения навыков.
Повара-люди могут изучать новые рецепты, наблюдая за приготовлением пищи другим человеком или просматривая видео на YouTube, но программирование робота для приготовления различных блюд требует больших затрат и времени. Человек демонстрирует один из восьми запрограммированных рецептов для робот «шеф-повар» с использованием нейронной сети. Предоставлено: Кембриджский университет
«Мы хотели посмотреть, сможем ли мы научить робота-повара учиться таким же поэтапным способом, как и люди, — определяя ингредиенты и то, как они сочетаются друг с другом в блюде», — сказал Гжегож Сохацкий из Кембриджа. Инженерный факультет, первый автор статьи.
Сочацкий, кандидат наук. кандидат в Лабораторию биоинспирированной робототехники профессора Фумии Ииды и его коллеги разработали восемь простых рецептов салатов и засняли, как они их готовят. Затем они использовали общедоступную нейронную сеть для обучения своего робота-повара. Нейронная сеть уже была запрограммирована на определение ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах салатов (брокколи, морковь, яблоко, банан и апельсин).
С помощью методов компьютерного зрения робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека-демонстратора. И рецепты, и видео были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.
