Проект по автоматической генерации кода, воспроизводящего интерфейс со скриншота
26 мая 2017 года
Группа исследователей в области искусственного интеллекта анонсировала проект pix2code, в рамках которого развивается идея по созданию генератора кода, воссоздающего макет пользовательского интерфейса, изображённого на скриншоте. По мнению разработчиков проект упростит работу дизайнеров интерфейса, который смогут реализовать свои задумки в форме графических макетов, а pix2code даст возможность сформировать на основе предложенных картинок готовый каркас кода, требующий минимальных правок для создания рабочего прототипа приложения.
В процессе генерации кода используется абстрактный предметно-ориентированный язык, который затем преобразуется в представление на языке целевой системы. Данный подход позволяет генерировать код для построения интерфейса для различных платформ и языков. В данный момент обеспечена поддержка воссоздания кода для web-приложений и мобильных приложений для платформ iOS и Android.
В основе pix2code лежит система машинного обучения, натренированная на реальных образцах приложений. Модель для обучения построена на основе примерно 90 тысяч примеров мобильных приложений и 140 тысяч примеров web-интерфейсов. На текущей стадии разработки уже удалось добиться воссоздания интерфейса на основе скриншота с 77% точностью. В ближайшее время связанные с проектом наборы данных и готовую модель для генерации кода планируется опубликовать на GitHub под лицензией Apache 2.0.
Источники
править
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
