Похоже, что компания OpenAI внесла еще одно существенное изменение, перейдя на свою новейшую модель GPT-4, которая объединяет все модели GPT-4.
В настоящее время OpenAI внедряет модель “GPT-4 (All Tools)”, которая автоматически выбирает наилучшие инструменты для конкретной задачи, например, поиск в интернете, продвинутая аналитика данных или DALL-E 3.
Модель также может обрабатывать за один проход гораздо более длинный контент – до 32 тыс. лексем, или около 25 тыс. слов. Это позволяет пользователям отправлять более длинные PDF-файлы без необходимости использования векторной базы данных. Модель имеет дополнительное контекстное окно размером 2,7К для системной подсказки.
Это заметил разработчик Дастин Миллер на сайте twitter.com, ссылаясь на находку кода. Другой пользователь подтверждает это наблюдение длинным документом из 16000 слов, который ChatGPT смог проанализировать с помощью GPT-4-All.
OpenAI впервые представила 32-килобайтную модель во время презентации GPT-4 в марте, но ограничила доступ сначала для избранных пользователей, а затем и для API, вероятно, по соображениям стоимости. Модель 32K еще дороже, чем модель 8K, которая уже в 15 раз дороже GPT-3.5 через API.
Если OpenAI теперь реализует 32K-модель в ChatGPT, это может означать, что они лучше справляются со стоимостью. Интересный вопрос заключается в том, передаст ли компания это преимущество сообществу разработчиков. Конференция разработчиков OpenAI 6 ноября была бы подходящим событием для объявления об этом.
Конкуренция в области LLM обостряется
Другой причиной расширения контекстного окна может быть то, что основной конкурент OpenAI, компания Anthropic, ускоряет развертывание своего чат-бота Claude 2 в интернете и через API. Недавно Google и Amazon инвестировали в Anthropic до шести миллиардов долларов.
Уникальным преимуществом Claude 2 является контекстное окно размером 100К (около 75000 слов), что все еще примерно в три раза больше, чем 32К у GPT-4.
Кроме того, не за горами разработка Gemini от Google, которая, возможно, также будет опираться на большое контекстное окно в дополнение к мультимодальности.
08 Апр 2024
151656