Стартап Inflection утверждает, что их новая языковая модель Inflection-2 превосходит своих прямых конкурентов, таких как Google PaLM-2 и Claude 2, и уступает только GPT-4. Эта модель значительно мощнее своего предшественника, Inflection-1, и, по словам компании, демонстрирует улучшенные фактические знания, лучший контроль стиля и значительно улучшенные способности к рассуждению.
Inflection-1 была выпущена в июле и была примерно наравне с GPT-3.5 и PaLM-540B. Теперь же Inflection-2, по утверждениям компании, должна догнать GPT-4. Inflection-2 обучалась на 5,000 графических процессорах NVIDIA H100 с точностью смешивания fp8, что составляет около 10²⁵ FLOP. Это ставит её в один ряд с флагманской моделью Google PaLM 2 Large, которая вскоре будет заменена на Gemini.
Однако Inflection-2 превосходит PaLM 2 Large в большинстве стандартных тестов на производительность ИИ, включая широко используемый тест MMLU, который охватывает широкий спектр задач, связанных с языком, от уровня средней школы до профессионального, а также другие языковые тесты, такие как TriviaQA, HellaSwag и GSM8k.
По сравнению с GPT-4, Inflection-2 набрала 89,0 баллов в тесте HellaSwag 10-shot, приближаясь к результату GPT-4, равному 95,3. Кроме того, Inflection заявляет, что их последняя модель LLM превосходит Claude 2 в цепочечном рассуждении, то есть в уже оптимизированном процессе подсказок.
Inflection-2 значительно уступает GPT-4 в задачах по программированию и математике, но показывает лучшие результаты, чем, например, Llama 2 от Meta. Inflection-2 не оптимизирована для программирования, поэтому в будущих моделях есть пространство для улучшения.
Скоро чат-бот Pi компании будет работать на Inflection-2. Инфраструктура обновляется с графических процессоров Nvidia A100 на H100, что должно ускорить вывод, то есть обработку ввода моделью ИИ. Несмотря на свой большой размер (175 миллиардов параметров), Inflection-2 должна быть дешевле и быстрее, чем Inflection-1.
Inflection уже планирует обучать ещё более крупные модели на полной мощности кластера из 22,000 графических процессоров. Следующая модель ИИ будет примерно в десять раз больше и будет выпущена примерно через шесть месяцев, сообщает компания. Вы можете протестировать Pi на pi.ai/talk.
В плане безопасности и ответственности Inflection добровольно подписалась на обязательства Белого дома от июля 2023 года.
У Inflection в команде есть известные имена. Компания вышла на публику в марте 2022 года. Основателями стали основатель LinkedIn Рид Хоффман, сооснователь Deepmind Мустафа Сулейман и бывший исследователь Deepmind Карен Симонян. Стартап специализируется на использовании естественного языка в качестве личного интерфейса к компьютерам.
В мае 2022 года Inflection AI закрыла инвестиционный раунд на сумму 225 миллионов долларов, а в июне 2023 года компания объявила о другом инвестиционном раунде, в котором участвовали Microsoft, Рид Хоффман, Билл Гейтс, Эрик Шмид и Nvidia, вложив в общей сложности 1,3 миллиарда долларов. На тот момент компания оценивалась в 4 миллиарда долларов.
С момента объявления стартапа к Inflection AI присоединились такие исследователи ИИ, как Хайнрих Куттлер из Meta* AI и Маартен Босма и Ревон Чайлд, ранее работавшие в Google Brain. Бывший менеджер продуктов Deepmind и Google Джо Фентон помогает Inflection AI разрабатывать свои продукты и бизнес-модель.
* – компания Meta признана экстремистской в РФ
15 Апр 2024
920