Авторы программы предположили, что у людей есть общие представления о том, каким внешним характеристикам соответствуют те или иные эпитеты. Для моделирования человеческого тела использовали модель SMPL (Skinned Multi-Person Linear model), в которой человеческую фигуру описывают восемь основных параметров.

 

 

Чтобы установить соответствие между словесным описанием и внешним видом фигуры, ученые случайным образом сгенерировали 128 мужских и 128 женских фигур, которые добровольцы затем описывали при помощи 30 английских слов из списка. Шкала для каждого определения включала пять градаций: «совсем не подходит», «не подходит», «нейтрально», «подходит» и «полностью соответствует».

 

Затем данные по каждому эпитету усредняли, а фигуру описывали вектором из 30 значений. При помощи машинного обучения авторы получили соотношение между 30 словесными характеристиками и значением 8 параметров в SMPL.

 

После этапа обучения исследователи проверили эффективность программы. По фотографии человека и словесному описанию 15 добровольцев программе удалось точно воссоздать фигуру. Чтобы продемонстрировать, как алгоритм воссоздает фигуры исключительно по словесному описанию, ученые смоделировали, как могли выглядеть герои романа «Мальтийский сокол» согласно их описанию в книге.

Майли Сайрус и Денни Де Вито: фото и 3D-модели, созданные программой Body Talk
Майли Сайрус и Денни Де Вито: фото и 3D-модели, созданные программой Body Talk
Иллюстрация из статьи

Программа доступнее и дешевле, чем методы точного 3D-сканирования. Она может облегчить онлайн-шоппинг — подбирать одежду по размеру будет точнее и проще.

 

Статья с описанием программы опубликована в журнале ACM Transactions on Graphics, а сама она доступна по ссылке.

 

Права на данный материал принадлежат chrdk.ru