Благодаря искусственному интеллекту, теперь можно нарисовать приложение вместо того, чтобы писать его код

ИИ с распознаванием изображений открывает перед дизайнерами и разработчиками новые возможности для быстрого превращения идеи в прототип. Существует несколько подходов, основанных на технологии OpenAI.

Внедрение мультимодальных возможностей в GPT-4 заложило важную основу для будущего разработки ПО. Благодаря GPT-4V модель ИИ принимает на вход как текст, так и изображения. Это позволяет ей генерировать рабочий код по скриншотам или простейшим рисункам.

Подпишитесь на авторский телеграм-канал про предпринимательство в России.

Недавно на основе этой идеи было разработано несколько продуктов. Инструмент для совместной работы с досками tldraw создал игровую площадку на сайте makereal.tldraw.com, где в браузере можно создавать макеты элементов сайта. GPT-4V преобразует их в код с помощью API OpenAI. Для этого требуется отдельный ключ API.

Makereal.tldraw предлагает игривый интерфейс для генерации кода.

Разработчики предоставляют краткую справочную информацию на Substack.

“Подобно окну чата, холст превращается в пространство для разговора, где вы и ИИ можете вместе обсуждать идею. В данном случае результатом стали рабочие веб-сайты, что достаточно удивительно, но это может сработать так же хорошо для чего угодно”, – пишут разработчики.

В Twitter появилось множество демонстрационных видеороликов, показывающих, как пользователи экспериментируют с tldraw. Роберто Никсон показывает, как он создал калькулятор чаевых примерно за две минуты. Впечатляет то, что макет не отличается от дизайна, а необходимая логика реализована с помощью JavaScript.

Альваро Кинтас пишет, что создал свой клон однопользовательской игры Pong за 30 секунд.

Screenshot-to-Code пишет код по скриншоту и генерирует соответствующие изображения за один шаг

Как и Make Real, еще один проект с открытым исходным кодом имеет схожую цель и использует GPT-4V для ее достижения. Репозиторий “screenshot-to-code” Аби Раджа использует скриншот для генерации кода для программирования интерфейса, видимого на скриншоте. Он также использует DALL-E 3 для генерации изображений, показанных на скриншоте, чтобы еще больше приблизиться к оригиналу. На видео ниже показан инструмент в действии.

В настоящее время проект поддерживает Bootstrap, Tailwind CSS, React и Vue, но в скором времени могут быть добавлены и другие фреймворки. Помимо установки на компьютер, доступен демо-сайт, для которого также требуется ваш ключ OpenAI.