Исследователи из Microsoft используют ChatGPT для инструктирования роботов и дронов

ChatGPT компании OpenAI не только хорошо генерирует последовательные ответы на естественные языковые запросы - он также может играть роль в человеко-роботических взаимодействиях и использовать обратную связь датчика для написания кода для действий робота.

Microsoft недавно провел исследование, чтобы "увидеть, может ли ChatGPT мыслить не только текстом, но и рассуждать о физическом мире, чтобы помочь с задачами робототехники". Цель заключалась в том, чтобы узнать, могут ли люди использовать ChatGPT для инструктажа роботов без изучения языков программирования или понимания робототехнических систем.

Подробнее: Эти эксперты гонятся, чтобы защитить ИИ от хакеров. Время истекает.

"Основная сложность здесь заключается в том, чтобы обучить ChatGPT решать задачи с учетом физических законов, контекста рабочей среды и того, как физические действия робота могут изменить состояние мира", - отмечает команда из отдела Microsoft Autonomous Systems and Robotics Research в своем блогпосте.

Исследователи Майкрософт исследовали возможности ChatGPT по генерации кода, в основном на языке Python, для сценариев робототехники, таких как планирование без обучения и генерация кода, после того, как ChatGPT получил доступ к данным обнаружения объектов и расстояния до объектов через интерфейсы приложений.

ChatGPT способен создавать код благодаря тому, что он был обучен на больших объемах кода и написанного текста. Система показала себя способной решать проблемы с кодированием и отладку программ, обладая уникальной возможностью отвечать на диалог и уточнять детали. Также есть Codex, модель на базе GPT-3 от OpenAI, которая лежит в основе сервиса совместной разработки GitHub Copilot, автоматически дополняющего код для разработчиков на нескольких языках.

Также:Что такое ChatGPT? Вот все, что вам нужно знать

Имея в виду эти возможности диалога и уточнения, Microsoft проверила способность ChatGPT как языкового интерфейса между не техническим пользователем и квадрокоптером. Как отмечают исследователи в статье, хотя GPT-3, LaMDA и Codex показали себя достойно в задачах планирования робототехники и генерации кода, ChatGPT, в частности, является "потенциально более универсальным инструментом для области робототехники, поскольку он объединяет преимущества моделей естественного языка и генерации кода с гибкостью диалога".

Исследователи отмечают в своем блоге: "ChatGPT задавал уточняющие вопросы, когда инструкции пользователя были неоднозначными, и писал сложные структуры кода для дрона, такие как зигзагообразный паттерн для визуального осмотра полок."

Майкрософт проверил ChatGPT на использование роботической руки для перемещения блоков, чтобы сформировать логотип Майкрософт. Исследователи также поручили ChatGPT написать алгоритм для дрона, чтобы достичь точки без столкновения с препятствиями. Они также проверяли, может ли ChatGPT принимать решение, куда должен двигаться робот на основе обратной связи с сенсоров в режиме реального времени.

Исследователи в Google Research и в Everyday Robots, принадлежащей Alphabet, также работали над подобными вызовами робототехники с использованием больших моделей языка, называемых PaLM, или Pathways Language Model, которые помогли роботу обрабатывать открытые запросы и реагировать разумным образом.