Французский стартап в области искусственного интеллекта, Mistral AI, выпустил новую языковую модель Mistral 7B. Эта модель, обладающая 7,3 миллиардами параметров, показывает результаты, превосходящие аналогичные модели Llama. Mistral 7B доступна для бесплатного использования по лицензии Apache 2.0 и может быть развернута в любом облаке или через платформу HuggingFace.
Mistral 7B демонстрирует выдающиеся результаты, превосходя модели Llama 2 13B и Llama 1 34B по многим параметрам и приближаясь к производительности CodeLlama 7B в программировании, при этом эффективно справляясь с задачами на английском языке. Эта модель может быть адаптирована к новым задачам, таким как чат или инструкции, через тонкую настройку.
По данным Mistral AI, Mistral 7B не уступает теоретической модели Llama 2, которая более чем в три раза крупнее, но при этом экономит память и увеличивает пропускную способность. То, что Mistral отстает от Llama 1 34B в вопросах о знаниях, Mistral объясняет более низкими параметрами.
Mistral AI, который включает в себя бывших сотрудников Meta и Google Deepmind и привлек инвестиции от бывшего CEO Google, Эрика Шмидта, в июне поразил общественность, объявив о самом крупном в Европе раунде сидового финансирования – $105 миллионов, не имея на тот момент продукта. Их стратегия заключается в предоставлении мощных моделей с открытым исходным кодом с опциональными платными функциями для желающих клиентов.
К концу 2023 года компания планирует представить целое семейство моделей генерации текста, которые, как ожидается, значительно превзойдут возможности текущих моделей, таких как ChatGPT с GPT-3.5 и Google Bard. Mistral 7B является лишь первым шагом в этом направлении, и часть будущих моделей также будет предоставлена с открытым исходным кодом.
Бесплатно попробовать Mistral можно здесь. Модель Mistral 7B также доступна для загрузки с документацией на GitHub или через Hugging Face.
23 Апр 2024
655