Восстановление старых фотографий и видеоматериалов с помощью генеративных состязательных сетей (GAN) – новое слово в истории машинного обучения.
Традиционный способ восстановления — применение цифровых фильтров, таких как шумоподавление. Но, по исходной фотографии невозможно точно определить, что было искажено позднее, из-за ее старения, а что возникло изначально, из-за таких проблем, как цветовая чувствительность и особенности процессов проявления. Использование ИИ позволило решить эти проблемы.
В феврале 2019 года производитель графического оборудования NVIDIA выпустил открытый код для своего программного обеспечения для создания фотореалистичных лиц StyleGAN . Программное обеспечение использует подход генеративной состязательной сети (GAN), при котором две нейронные сети играют в игру в кошки-мышки, одна пытается создать искусственные изображения, неотличимые от реальных фотографий, а другая пытается отличить их. Две сети обучают друг друга.
Команда исследователей из Вашингтонского университета, Калифорнийского университета в Беркли и Google Research продемонстрировала программу искусственного интеллекта, способную по старым черно-белым фотографиям воссоздать реальный внешний вид людей, живших до эпохи широкого распространения цветных фото. В качестве примера были обработаны фото таких исторических деятелей, как Авраам Линкольн, Мао Цзэдун, Рут Бадер Гинзберг, Эндрю Джонсон, Мари Кюри, Томас Эдисон, Хуэйинь Линь, Бенджамин Дизраэли и Махатма Ганди — как если бы они были сфотографированы камерами, которые у нас есть сегодня.
Одной из причин искажения изображений на старых фотографиях было то, что негативы времен Линкольна были более чувствительны к синему и ультрафиолетовому свету, из-за чего щеки казались темнее, чем они были, а морщины чрезмерно подчеркивались, отфильтровывая подповерхностное рассеивание кожи, которое происходит в основном в красном цветовом канале. Из-за этого Линкольн на этих старых фотографиях выглядит намного более морщинистым, чем он был в реальной жизни.
Воссоздание того, как выглядели бы исторические фотографии, сопряжено с рядом проблем, включая потерю ими цвета, ограничения современных фотоаппаратов и способы проявки пленки в то время.
Ученым пришлось синтезировать современную фотографию, используя старинную черно-белую фотографию в качестве ориентира – проецируя старинное фото в пространство современных цветных изображений высокого разрешения.
Техника синтеза изображений имитирует репродукцию из прошлого с помощью современной камеры высокого разрешения на основе черно-белой эталонной фотографии. Метод использует фотографию «родного брата» - эталонное изображение, портрет человека, который имеет те же черты лица, что и «входные данные» - историческое фото. «Фото эталон» имеет высокое разрешение, высокочастотные детали, естественный цвет и освещение.
ПО по преобразованию вывода StyleGAN обрабатывало изображение «родного брата» в оттенках серого.
GAN состоит из двух нейросетей, при которой одновременно работает два алгоритма «генератор» и «дискриминатор». Задача генератора – генерировать образы заданной категории. Задача дискриминатора – пытаться распознать созданный образ.
Таким образом генератор генерирует определенные образы. Например, картинки, похожие на лица, а дискриминатор пытается определить лицо это было или нет. И со временем сеть обучается настолько, что генератор генерирует весьма реалистичные лица.
В процессе обучения GAN требуется набор реальных лиц, на которых можно учиться; сеть, предоставленная NVIDIA, обучена на комбинированных изображениях из комбинации двух больших коллекций фотографий лиц, CELEBA-HQ и FFHQ . Первый включает тысячи лиц знаменитостей. Последний включает 70 000 фотографий лиц, размещенных на Flickr по лицензии Creative Commons.
«Дискриминатор» учитывал различные типы пленочной подложки, процессы сканирования и кривые отклика камеры, а также позволяет улучшить исходное чб фото.
Одноуровневые вычисления и скрытые оптимизация кода занимают около 10 минут. Графический процессор TITAN X используется для вычисления результата 1024 × 1024. ИИ производит оптимизацию грубых кодов для 250 итераций, находя фото «родного брата», с него получают данные цветопередачи и контекстных потерь, а также оптимизировать скрытые коды с разрешением от 4 до 64 dpi, изменяя их размер до максимального разрешения 1024 × 1024 (в среднем 740 × 740, минимум 251 × 251).
