ИИ с распознаванием изображений открывает перед дизайнерами и разработчиками новые возможности для быстрого превращения идеи в прототип. Существует несколько подходов, основанных на технологии OpenAI.
Внедрение мультимодальных возможностей в GPT-4 заложило важную основу для будущего разработки ПО. Благодаря GPT-4V модель ИИ принимает на вход как текст, так и изображения. Это позволяет ей генерировать рабочий код по скриншотам или простейшим рисункам.
Недавно на основе этой идеи было разработано несколько продуктов. Инструмент для совместной работы с досками tldraw создал игровую площадку на сайте makereal.tldraw.com, где в браузере можно создавать макеты элементов сайта. GPT-4V преобразует их в код с помощью API OpenAI. Для этого требуется отдельный ключ API.
Makereal.tldraw предлагает игривый интерфейс для генерации кода.
Разработчики предоставляют краткую справочную информацию на Substack.
“Подобно окну чата, холст превращается в пространство для разговора, где вы и ИИ можете вместе обсуждать идею. В данном случае результатом стали рабочие веб-сайты, что достаточно удивительно, но это может сработать так же хорошо для чего угодно”, – пишут разработчики.
В Twitter появилось множество демонстрационных видеороликов, показывающих, как пользователи экспериментируют с tldraw. Роберто Никсон показывает, как он создал калькулятор чаевых примерно за две минуты. Впечатляет то, что макет не отличается от дизайна, а необходимая логика реализована с помощью JavaScript.
Альваро Кинтас пишет, что создал свой клон однопользовательской игры Pong за 30 секунд.
Screenshot-to-Code пишет код по скриншоту и генерирует соответствующие изображения за один шаг
Как и Make Real, еще один проект с открытым исходным кодом имеет схожую цель и использует GPT-4V для ее достижения. Репозиторий “screenshot-to-code” Аби Раджа использует скриншот для генерации кода для программирования интерфейса, видимого на скриншоте. Он также использует DALL-E 3 для генерации изображений, показанных на скриншоте, чтобы еще больше приблизиться к оригиналу. На видео ниже показан инструмент в действии.
В настоящее время проект поддерживает Bootstrap, Tailwind CSS, React и Vue, но в скором времени могут быть добавлены и другие фреймворки. Помимо установки на компьютер, доступен демо-сайт, для которого также требуется ваш ключ OpenAI.
15 Апр 2024
928