Китайская компания 01.AI, основанная ученым-компьютерщиком и пионером в области искусственного интеллекта Кай-Фу Ли, менее чем за восемь месяцев достигла статуса “единорога” с оценкой более 1 млрд долл.
Модель искусственного интеллекта “Yi-34B”, разработанная 01.AI, имеет открытый исходный код без ограничений для некоммерческих и исследовательских целей. Ли пишет на LinkedIn, что в настоящее время Китай отстает в гонке больших языковых моделей (LLM), но новая модель “показывает конкурентоспособные результаты на мировом уровне”.
Компания опубликовала результаты бенчмарков, которые показывают, что Yi-34B находится на уровне или намного выше, чем Llama2-70B и Falcon-180B компании Meta*, которые имеют более чем в два и пять раз больше параметров, соответственно. Младшая модель Yi-6B находится на уровне Llama2-34B.
Благодаря высокому качеству данных, полученных в процессе обучения ИИ, Yi-34B достигает лучших результатов, чем гораздо более крупные модели, такие как Lama 70B или Falcon 180B
Разработчики и исследователи могут использовать модели в соответствии с лицензией Apache 2.0. Они доступны на сайтах HuggingFace, ModelScope и Github. Модели предназначены “не только для Китая, но и для всего мира”, – сказал Ли в интервью агентству Bloomberg.
Для “свободного коммерческого использования” необходимо подать заявку через веб-сайт, что вызывает некоторое недоумение, поскольку в лицензии Apache 2.0 также говорится, что коммерческое использование является бесплатным.
Высококачественные данные улучшают производительность LLM
Как сообщается на сайте, Yi-34B был обучен с нуля на “высококачественном” корпусе из трех триллионов лексем. Ли связывает тот факт, что Yi-34B превосходит гораздо более крупные модели, именно с таким высоким качеством данных. Кроме того, благодаря меньшему размеру модели обходятся дешевле.
Другие исследования также показывают, что качество данных оказывает решающее влияние на обучение LLM. Ли ожидает, что масштабирование до такого уровня позволит получить “значительно более совершенные” модели ИИ уже в следующем году, и уже сейчас он говорит о большем количестве моделей.
По словам Ли, следующая собственная модель 01.AI должна составить конкуренцию GPT-4 от OpenAI. С тех пор как США запретили Nvidia экспортировать продукцию в Китай, 01.AI, по словам Ли, переполнила свой банковский счет и закупила большое количество чипов, которые ей понадобятся в обозримом будущем.
Кай-Фу Ли присоединяется к гонке искусственного интеллекта
В последнем раунде финансирования 01.AI участвовало, в частности, облачное подразделение Alibaba Group Holding Ltd., и всего за восемь месяцев стоимость компании превысила 1 млрд. долл.
По сообщению Bloomberg, Кай-Фу Ли, генеральный директор венчурной компании Sinovation Ventures, также займет пост генерального директора 01.AI. Ли начал формировать команду 01.AI в марте 2023 года, а компания начала работать только в июне. В стартапе работает более 100 человек, в том числе опытные специалисты, работавшие над Google Bard и TensorFlow.
Ли – известная фигура в индустрии ИИ с большим опытом работы в области компьютерных наук и исследований ИИ. Он защитил докторскую диссертацию по информатике в Университете Карнеги-Меллон и занимал множество руководящих должностей в таких известных технологических компаниях, как Apple, Microsoft и Google.
* – компания Meta признана экстремистской в РФ
22 Апр 2024
687