Исследователи OpenAI обратились к совету директоров компании с предупреждением о новом открытии в области искусственного интеллекта, которое может представлять угрозу для человечества. Это сообщение было опубликовано Reuters, ссылаясь на два источника, знакомых с ситуацией. По информации от The Verge, совет директоров такое письмо не получал, и оно не играло роли в увольнении Сэма Альтмана, бывшего генерального директора OpenAI.
Суть письма касается алгоритма Q* (произносится как кью-стар), способного самостоятельно решать математические задачи начального уровня, которые не входили в обучающий набор данных. Разработкой Q-Star занимался главный ученый OpenAI Илья Суцкевер. Некоторые исследователи OpenAI считают Q-Star прорывом на пути к созданию искусственного общего интеллекта (AGI), так как его математические способности могут свидетельствовать о развитии более общих и человекоподобных навыков рассуждения.
В письме к совету директоров исследователи указывали на возможности и потенциальные опасности системы, в том числе на ускорение научных прорывов. Они также выразили беспокойство о том, приняла ли OpenAI необходимые меры безопасности для такой системы AI.
Исследователи также упомянули работу “Команды ученых ИИ”, существование которой подтверждено несколькими источниками. Эта группа была создана путем объединения бывших команд “Code Gen” и “Math Gen” и занимается исследованием того, как можно настроить существующие модели ИИ для улучшения их способностей к рассуждению и выполнению научной работы.
За разработку Q-Star стоят исследователи Якуб Пахоцки и Шимон Сидор, опираясь на работу Ильи Суцкевера. Демонстрация системы якобы циркулировала в OpenAI на протяжении нескольких недель. Пахоцки и Сидор покинули компанию вскоре после увольнения Альтмана Суцкевером, якобы по причинам безопасности, но вернулись вместе с Альтманом. Сооснователь OpenAI Грег Брокман, как сообщается, работает над интеграцией Q-Star в продукты OpenAI.
Возможно, утечка информации от Джимми Эпплса в OpenAI касалась именно Q-Star, когда он в середине сентября твитнул, что “AGI был достигнут внутри компании”. Сэм Альтман, генеральный директор OpenAI, повторил это заявление на Reddit, но позже отредактировал свое сообщение, добавив, что AGI “не будет объявлен с помощью комментария на Reddit” и что он лишь подхватил мем.
В начале ноября Альтман заявил, что текущие языковые модели все еще нуждаются в “еще одном прорыве” на пути к AGI и что простое масштабирование систем недостаточно. Это потребует системы, способной открывать новые физические явления.
Альтман также сделал загадочное заявление на саммите APEC 2023 16 ноября, незадолго до своего увольнения. Он сказал, что был в комнате четыре раза в истории OpenAI, когда команда отодвигала “завесу невежества назад и границу открытий вперед”. Последний раз это произошло несколько недель назад, сказал Альтман. Это может совпадать с твитом “Джимми Эпплса” о AGI.
The Information также сообщает, что Суцкевер запустил проект под названием GPT-Zero в 2021 году. Здесь языковой модели давалось больше времени и вычислительных ресурсов для генерации ответа с целью создания новых академических открытий. Именно этот кодовое название “Zero”, которое теперь упоминает “Джимми Эпплс” в связи со слухами о письме.
23 Апр 2024
659