Робототехническая компания Boston Dynamics интегрировала систему OpenAI GPT-4 в своего робота-собаку Spot, продемонстрировав тем самым ее новые возможности.
Для создания говорящей и интерактивной собаки-робота Boston Dynamics добавила в тело Spot Bluetooth-динамик и микрофон, а также оснащенную камерой руку, которая служит ему шеей и головой. Хватательная рука Spot имитирует говорящий рот, открываясь и закрываясь. Таким образом, у робота появляется язык жестов.
Для обработки языка и изображений в обновленном Spot используется новейшая модель GPT-4 от OpenAI, а также наборы данных Visual Question Answering (VQA) и программа распознавания речи Whisper от OpenAI, позволяющие реалистично общаться с человеком.
Например, по сигналу “Эй, Спот!” собака-робот отвечает на вопросы, выполняя обязанности гида в штаб-квартире Boston Dynamics. Spot также может распознавать человека, находящегося рядом с ним, и поворачиваться к нему во время разговора.
В ходе экспериментов с роботом компания Boston Dynamics обнаружила эмерджентные способности, то есть навыки, которые робот удивительным образом проявляет, даже если они не были явно заданы или запрограммированы в нем.
На вопрос об основателе Boston Dynamics Марке Райберте Spot ответил, что не знает этого человека, но что поддержку можно запросить в службе поддержки ИТ-отдела. Эта просьба о помощи не была явным указанием в подсказке.
Отвечая на вопрос о своих родителях, Spot назвал своих предшественников в лаборатории “Spot V1” и “Big Dog”, назвав их своими старшими.
Кроме того, робот на базе ChatGPT отлично придерживается заданного характера и, например, постоянно делает язвительные замечания, пишет Boston Dynamics.
За основу своей реализации Boston Dynamics взяла правила ChatGPT, разработанные Microsoft для роботов. Подробное описание подсказок можно найти в блоге компании.
Однако Boston Dynamics указывает и на многочисленные недостатки своего робота Spot с поддержкой LLM: собака с ChatGPT часто говорит не то, что нужно, например, что логистический робот “Stretch” предназначен для занятий йогой. Кроме того, от вопроса до ответа проходит около шести секунд, так что это не совсем разговор в реальном времени.
Следует отметить, что эти анекдоты не свидетельствуют о том, что LLM обладает сознанием или даже интеллектом в человеческом смысле – они лишь демонстрируют силу статистической ассоциации между понятиями “справочная служба” и “задать вопрос”, а также “родители” и “старый”. Но смекалка, которую LLM использует, чтобы казаться умным, могут быть весьма убедительными — Boston Dynamics
Компания Boston Dynamics не раскрывает конкретных планов относительно своего модифицированного Spot. Но, по мнению компании, роботы в целом являются перспективным способом внедрения языковых моделей в реальный мир. Возможностей для этого множество – от туристических гидов и обслуживания клиентов до персональных компаньонов.
Возможность обучения робота новым задачам, просто разговаривая с ним, также сократит кривую обучения системы. “Эти две технологии прекрасно сочетаются”, – пишет Boston Dynamics.
Эксперимент Boston Dynamics со Spot – еще один пример сочетания возможностей больших языковых моделей и присутствия роботов в реальном мире, как это делает Google в своих проектах RT-2 и SayCan. Знание мира, заложенное в больших языковых моделях, помогает роботам интуитивно двигаться в реальном мире и выполнять сложные действия по требованию, без необходимости дополнительного программирования.
15 Апр 2024
924