Реставрация перевод из черно белого в цветное: Компьютерное зрение от Почты Mail.ru улучшит старые фотографии

Преобразование цветов рисунка в оттенки одного цвета

Publisher для Microsoft 365 Publisher 2021 Publisher 2019 Publisher 2016 Publisher 2013 Publisher 2010 Publisher 2007 Еще…Меньше

Цветной рисунок в Publisher можно упростить, сократив количество цветов рисунка. Это позволяет уменьшить размер файла рисунка и снизить стоимость печати. Применение единого цвета к рисункам в публикации также может привести к единообразным формам.

Изменение оттенков одного цвета рисунка

1. Выберите рисунок, который вы хотите изменить.

2. На вкладке «Формат» нажмите кнопку «Перекрасить» и выберите нужный цвет.

   Чтобы увидеть другие варианты цветов, нажмите кнопку «Другие варианты».

Восстановление исходных цветов рисунка

Сведения об исходных цветах рисунка сохраняются вместе с ним, поэтому вы можете их восстановить в любой момент.

Изменение оттенков серого или черно-белого рисунка

1. Выберите рисунок, который вы хотите изменить.

2. На вкладке «Формат» нажмите кнопку «Перекрасить»и выберите «Оттенки серого».

Восстановление исходных цветов рисунка

Сведения об исходных цветах рисунка сохраняются вместе с ним, поэтому вы можете их восстановить в любой момент.

Уменьшить количество цветов на рисунке можно одним из трех способов:

• Измените оттенки одного цвета рисунка.

• Измените цвет рисунка на оттенки серого.

• Измените изображение на черно-белый.

Примечание: Изображения в инкапсулированных PostScript (EPS) можно изменить на черно-белый или в оттенках серого.

Изменение оттенков одного цвета рисунка

1. Щелкните правой кнопкой мыши рисунок, который вы хотите изменить, и выберите в меню пункт «Формат рисунка».

2. Перейдите на вкладку «Рисунок».

3. В области «Изображение»щелкните

   «Перекрасить».

4. В диалоговом окне Перекрашивание картинки щелкните стрелку списка Цвет и выберите необходимый цвет. Чтобы отобразить дополнительные цвета, нажмите кнопку Другие цвета, выберите нужные варианты и нажмите кнопку ОК.

   Примечание: Если в публикации используются плашечные цвета, пункт Другие цвета будет недоступен.

5. Выполните одно из указанных ниже действий.

   • Выберите Перекрасить всю картинку, чтобы перекрасить все изображение в оттенки выбранного цвета.

   • Выберите Оставить черное черным, чтобы перекрасить в оттенки выбранного цвета все части изображения, за исключением черных и белых областей.

Восстановление исходных цветов рисунка

Сведения об исходных цветах рисунка сохраняются вместе с ним, поэтому вы можете их восстановить в любой момент.

1. Щелкните рисунок правой кнопкой мыши и выберите в меню пункт «Формат рисунка».

2. Перейдите на вкладку «Рисунок».

3. Нажмите кнопку «Перекрасить».

4. В диалоговом окне «Перекрашивать рисунок» нажмите кнопку «Восстановить исходные цвета».

К началу страницы

Изменение оттенков серого или черно-белого рисунка

1. Щелкните правой кнопкой мыши рисунок, который вы хотите изменить, и выберите в меню пункт «Формат рисунка».

2. org/ListItem»>

   Перейдите на вкладку «Рисунок».

3. В списке «Цвет»выберите «Оттенки серого» или «Черно-белый».

Восстановление исходных цветов рисунка

Сведения об исходных цветах рисунка сохраняются вместе с ним, поэтому вы можете их восстановить в любой момент.

1. Щелкните рисунок правой кнопкой мыши и выберите в меню пункт «Формат рисунка».

2. org/ListItem»>

   Перейдите на

   вкладку «Рисунок».

3. В области «Изображение»в списке «Цвет» выберите «Автоматически».

   Примечание: Вы можете восстановить все исходные параметры рисунка, нажав кнопку «Сброс».

К началу страницы

Реставрация 100-летнего фильма с помощью ИИ / Хабр

Генеральный директор проекта neuro.love Денис Ширяев поделился удачными практиками и алгоритмами для восстановления и улучшения качества старых фильмов. Для самостоятельных экспериментов требуются базовые знания Abode Premiere или After Effects, но результат того стоит!

Пример одной из работ команды:

Подготовка материала

Самое главное – это подготовка материала к работе. К сожалению, не все видеозаписи хорошо сохранились, особенно если им 100 и более лет. Например, если взять материал с Теодором Рузвельтом на острове Пеликан в 1915 году, то даже вся мощь ИИ не поможет. Никаких чудес после улучшения не произойдёт:

Зато вот такой исходник прекрасно подходит для реставрации: 

Для работы ИИ требуются детали, потому что алгоритму нужно «видеть» чёткую картинку, нюансы присутствующих в ней объектов и т. д. Другими словами, большое количество деталей помогает ИИ понять, что можно «дорисовать» в кадре для улучшения его качества.

Восстановите фактический FPS, автоматически удалив повторяющиеся кадры

Настоящий вау-эффект получается благодаря сглаживанию движения. Преобразование изображения в формат 60 кадров в секунду делает людей в документальном фильме намного более реалистичными.

Сто лет назад камеры снимали фильмы со скоростью 14-18 кадров в секунду. Затем телевизионное вещание происходило с частотой 24 кадра в секунду. А потом пришла эра интернета. В результате почти все старые фильмы, оцифрованные сегодня, не имеют в своих метаданных фактической частоты кадров.

 Вот пример того, как выглядит фильм с частотой 30 кадров в секунду:

А вот как выглядит версия с восстановленным FPS с 20 кадрами в секунду:

На первый взгляд разница небольшая, верно? А вот и нет!

Версия с 30 кадрами в секунду содержит много дублированных кадров. Есть несколько способов искусственно задать 30 кадров в секунду. Мы будем использовать самый популярный — дублирование кадров. Итак, в нашем материале каждый кадр продублирован 2 или 3 раза:

Это не критично, если вы просто зритель, но критично для ИИ, если нам в конечном итоге нужно получить 60 кадров в секунду. Например, вот Мэрилин Монро при 60 кадрах в секунду. Почувствуйте разницу — она выглядит такой «настоящей»:

Шумоподавление

После удаления дубликатов кадров можно эффективно убрать шум. Для этого можно использовать плагин Neat Video. У него почти понятный интерфейс, по нему много учебных пособий и он является эффективным инструментом для уменьшения шума. Плагин платный и стоит 130$. если вы решите его купить, ознакомьтесь с кратким руководством по его использованию:

Шумоподавление — сложная задача, требующая отдельной статьи. Но рекомендуем разделить фильм на сцены и применить разные профили шумоподавления к каждой сцене.

После шумодава изображение будет выглядеть так:

Уже лучше, так что двигаемся дальше. 

Устраните мерцание

Одна из проблем, которая была у старых камер, называется «мерцание». Она была вызвана механическими проблемами в устройстве и настройке камеры. Каждый кадр получал разное количество света из-за разной длины выдержки.

Выглядит мерцание так:

Чтобы убрать мерцание, можно использовать плагины FlickerFree (149$) или GBDeflicker (5$). 

Выполните Deblur

Deblur — изменение размера отснятого материала до реального масштаба.

Это самая «ненаучная» часть урока. Исходный материал может быть любого размера, от 128p до 2, 4 и так далее K. Проблема в том, что «плотность информации» в кадрах или «насыщенность данными» может быть при этом достаточно низкой.

Почему этот шаг важен? Когда мы просим ИИ дорисовывать кадр (для увеличения масштаба фотографии или кадра видео), нам нужно передать ИИ как можно больше деталей. Это важно, потому что алгоритмы апскейла (о том, как они работают, вы можете прочитать здесь) требуют детальных шаблонов пикселей, которые можно было бы перерисовать.

 Взгляните на эту фотографию ночной рыбалки на Гавайях, сделанную в 1948 году:

А вот другая версия той же картинки:

Здесь размер исходного изображения увеличен в 4 раза, из-за чего появилось «размытие» и другие проблемы. Никаких новых деталей не было добавлено, потому что было выполнено только «изменение размера» и не задействован искусственный интеллект. Эта проблема постоянно возникает со старыми кадрами, доступными в интернете.

Даже если у вас есть доступ к исходному материалу и к сканирующему оборудованию, вы можете сканировать исходный материал практически в любом разрешении (даже в 16K). Однако объём данных все равно будет ограничен, а плотность информации будет относительно низкой.

Но решение простое. Нужно менять размер кадра, на глаз оценивая чёткость краёв объектов.

Это выглядит примерно так:

(подход, правда, ненаучный, но он работает)

Лучше сделать несколько прогонов, прежде чем реальный размер отснятого материала будет восстановлен.

Итак, кадры почти готовы. Теперь можно перейти к последним нескольким шагам и отшлифовать видео.

Стабилизация

Этот шаг уменьшит «дрожание камеры» и является необязательным. Существует дюжина методов стабилизации изображения, возьмём самый простой — Warp Stabilization.

Вот руководство:

Но вам решать, насколько «хардкорным» способом вы хотите добиться стабилизации. Итог будет выглядеть примерно так:

Применение ИИ

Когда предварительная обработка будет завершена, можно переходить к использованию искусственного интеллекта для улучшения изображения. Можно использовать разные инструменты:

Решения с открытым исходным кодом или коммерческие варианты

Вам потребуется мощный ПК с современной видеокартой (как вариант — облачный сервер) и некоторые технические навыки.   

1. Чтобы сделать апскейл (перевод видео из меньшего разрешения в большее) можно использовать BasicVSR++  с открытым исходным кодом или платное ПО Topaz Video Enhance (200 $).

2. Для генерации 60 кадров в секунду — DAIN или Flowframes.

3. Для раскрашивания — Deoldify (разработчик больше не поддерживает репозиторий).

4. Чтобы выполнить реставрацию лица – приложение Remini.

Есть и другие приложения, но здесь перечислены те, которые были лично протестированы автором. 

Улучшение с помощью neuro.love

Neuro.love предлагает решение для обработки мультимедиа с помощью ИИ. Для работы нужно загрузить исходное видео сюда :

И выбрать, какие фильтры AI вы хотели бы применить:

Например, применим Upscale к 4K, 60 FPS, восстановление лица и раскрашивание. Поскольку исходный материал немного ускорен, можно применить небольшое замедление.

Прежде чем рендерить весь отснятый материал, сделаем предварительный рендеринг и убедимся, что качество демо удовлетворительное.

Примерно через 20 минут получится вот такое видео:

Использовать ли раскрашивание — решать вам. Иногда с художественной точки зрения стоит оставить чёрно-белый вариант. 

И вот, наконец, видео готово:

Что скажете? Приемлемый результат?

---

Что ещё интересного есть в блоге Cloud4Y

→ Малоизвестный компьютер SWTPC 6800

→ Сделайте Linux похожим на Windows 95

→ Бесплатные книги, полезные для IT-специалистов и DevOps

→ WD-40: средство, которое может почти всё

→ Игры для MS-DOS с открытым исходным кодом

Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем только по делу.

Представляем функцию восстановления цвета на MyHeritage

В прошлом году MyHeritage изменила генеалогию благодаря революционным функциям раскрашивания и улучшения фотографий. Эти функции восхитили пользователей по всему миру и были применены к 30 миллионам фотографий. Сегодня мы рады объявить о выпуске еще одной революционной фото-функции: восстановление цвета

, которая прекрасно восстанавливает цвета на выцветших цветных фотографиях. В отличие от раскрашивания, которое имитирует цвета черно-белых фотографий, новая функция восстановления цвета идеально подходит для восстановления отсканированных фотографий из 19От 50-х до 1990-х годов, которые изначально были цветными, но с годами поблекли. Это дает вам возможность оживить ваши любимые моменты из тех дней, когда еще не было цифровой фотографии. С восстановлением цвета вы получаете подлинные цвета, восстановленные за считанные секунды, и при этом ни один цвет не угадывается. В качестве бонуса восстановление цвета также делает фотографии более четкими и повышает уровень их детализации. При восстановлении цвета исходная фотография остается нетронутой, и создается отдельная копия с восстановленными цветами.

Слева: выцветшее цветное фото — невеста в день свадьбы, кибуц Рамат-Хашофет, Израиль, июнь 1968 года. Справа: результат восстановления цвета

Со временем старые цветные фотографии тускнеют. Яркие и яркие оттенки прошлых десятилетий превращаются в разные оттенки. Ультрафиолетовый свет может повлиять на химический состав напечатанных фотографий, в результате чего они станут болезненно желтыми и потеряют свой цвет. С восстановлением цвета на MyHeritage даже самые изношенные цветные фотографии могут ожить с исключительными результатами.

Генеалогический блогер Роберта Эстес прокомментировала, увидев восстановленную цветную фотографию своих родителей, что, хотя исходная цветная фотография была потертой от времени и туманной, как воспоминание о другом времени, когда она увидела улучшенную версию, это было похоже на то, как она увидела своих родителей. снова лично. «Это был шок и заставил меня плакать, в хорошем смысле… Я, конечно, скучаю по ним обоим, но это почти как визит».

Восстановление цвета — это мощное новое дополнение к MyHeritage In Color™, нашей фотофункции для раскрашивания черно-белых фотографий. Технология восстановления цвета была лицензирована MyHeritage исключительно у экспертов по глубокому обучению DeOldify Джейсона Антика и Даны Келли, которые также разработали лучшие в мире алгоритмы раскрашивания, которые были лицензированы и интегрированы в MyHeritage. Технологии раскрашивания и восстановления цвета работают по-разному, но обе они умело используют искусственный интеллект.

Когда вы загружаете свою фотографию, MyHeritage сначала применяет технологию, чтобы быстро автоматически определить, является ли фотография черно-белой (или сепия) или изначально была сделана в цвете. Если фотография изначально была черно-белой, у вас будет возможность раскрасить ее, а если изначально она была цветной, вы можете восстановить ее цвета. Очевидно, что если фотография цветная и ее цвета выглядят идеально, вам не нужно применять к ней никаких действий.

Попробуйте восстановить цвет

Примеры

Вот несколько невероятных примеров цветных фотографий, цвета которых были восстановлены с помощью новой функции.

Слева: основатель и генеральный директор MyHeritage Гилад Яфет в парике и костюме медсестры на праздник Пурим вместе со своими сестрами в Иерусалиме, 1978 год. Справа: после восстановления цвета фотография выглядит так, как будто она была сделана вчера.

Слева: пара сестер, Нью-Йорк, около 19 лет.88. Справа: результат восстановления цвета. Следующие примеры взяты из личной коллекции генеалогического блогера Роберты Эстес.

На фото ниже показан отчим Роберты с ней на свадьбе. Она говорит: «Я обожала этого мужчину. Это моя любимая фотография с ним на все времена, и я думаю, что это также моя любимая фотография со мной». Он выглядит еще лучше с четкими цветами, восстановленными до оригиналов! Роберта была в восторге, увидев фото с восстановленным цветом: «Я знаю, это звучит странно, но более четкие фотографии сближают их. Больше похоже на то, что я был там, а не просто в далеком воспоминании».

Фотография ниже сделана в тот день, когда мать и отчим Роберты поженились, за несколько лет до ее собственной свадьбы. «Самое смешное, что я думаю, что это были единственные 2 новых костюма, которые у него были за все время, что я его знал. Он был фермером и мало нуждался в костюмах. Мама заставила его купить их обоих с разницей в 11 лет😊».

Это еще один отличный снимок мамы и отчима Роберты.

Как использовать восстановление цвета

Для начала посетите myheritage.com/incolor. Если вы использовали MyHeritage In Color™ в прошлом, вы заметите, что страница имеет новый макет, поддерживающий как раскрашивание, так и восстановление цвета.

Главная страница MyHeritage in Color™

Нажмите «Загрузить фото», чтобы выбрать файл с вашего компьютера. Или перетащите выбранную фотографию на страницу.

Вам будет предложено зарегистрироваться в MyHeritage, чтобы восстановить цвета на ваших фотографиях. Регистрация бесплатна. Если у вас уже есть учетная запись MyHeritage и вы еще не вошли в нее, просто выберите опцию «Войти» в нижней части всплывающего окна.

После того, как вы загрузите свою фотографию, MyHeritage приступит к работе автоматически. Он определит, была ли фотография изначально сделана черно-белой или цветной. Если фотография черно-белая, она будет раскрашена; если это цвет, то его цвета будут восстановлены. Этот процесс обычно занимает от 3 до 10 секунд, в зависимости от размера и уровня детализации фотографии.

Восстановление цвета в процессе. Почти готово!

Когда фотография с восстановленным цветом будет готова, она будет отображена.

Ваше фото с восстановленным цветом готово!

Вы можете перетаскивать ползунок по изображению, чтобы увидеть эффект восстановления цветов до и после, или использовать значки в правом верхнем углу для быстрого переключения между двумя версиями.

Загруженная исходная цветная фотография автоматически сохраняется в вашей фотогалерее. Доступ к исходной цветной фотографии и версии с восстановленным цветом можно получить в разделе «Мои фотографии» на вкладке «Семейное древо». Фотография с восстановленным цветом не добавляется в ваши альбомы как отдельная фотография. Вместо этого он совмещается с исходной цветной фотографией, чтобы к ней можно было получить доступ оттуда.

Вы можете объединить возможности восстановления цвета и MyHeritage Photo Enhancer для восстановления и улучшения фотографии. Photo Enhancer сфокусирует размытые фотографии.

В отличие от MyHeritage In Color™ и MyHeritage Photo Enhancer, мы не добавляем символ в нижний левый угол изображений, цвета которых были восстановлены. Это связано с тем, что при восстановлении фотографий алгоритм не дает наилучших предположений о том, какими могли быть исходные цвета, и не меняет разрешение фотографии; скорее, он восстанавливает подлинные цвета исходной фотографии.

Мы рекомендуем вам поделиться своими фотографиями с восстановленным цветом в социальных сетях с друзьями и семьей. Они наверняка оценят старые фотографии в новом свете!

Восстановление фотографий, уже имеющихся на MyHeritage

Если у вас уже есть учетная запись MyHeritage и вы построили генеалогическое древо, возможно, у вас уже есть много семейных фотографий на MyHeritage. Вы можете легко восстановить любую цветную фотографию, которая уже есть на MyHeritage.

Для этого сначала выберите «Мои фотографии» на вкладке «Семейное древо», чтобы получить доступ к своим фотографиям.

Доступ к вашим фотографиям на MyHeritage

Выберите альбом из списка слева или оставьте альбом по умолчанию «Все медиафайлы». Затем щелкните любую цветную фотографию на экране. Если алгоритм идентифицировал ее как цветную фотографию, кнопка со значком цветового круга отобразит новую опцию «Восстановить цвета» вместо «Раскрасить».

Нажмите новую кнопку «Восстановить цвета», чтобы исправить цвета на цветной фотографии.

После восстановления цветов вы увидите фотографию с ползунком в центре, который можно перетащить для просмотра в полном цвете. -восстановленное изображение или исходное цветное изображение.

В любой момент этого процесса при просмотре определенной фотографии вы также можете нажать «Улучшить», чтобы улучшить фотографию и сделать ее более четкой. Порядок не имеет значения — вы можете улучшать и восстанавливать фотографии в любом выбранном вами порядке, и вы получите те же результаты.

В левом верхнем углу фотографии вы увидите несколько различных значков действий:

Загрузить

Вы можете загрузить исходную фотографию, фотографию с восстановленным цветом или сравнение двух изображений .

Удалить

Можно удалить либо исходную фотографию, либо фотографию с восстановленным цветом. Когда вы удаляете фотографию с восстановленным цветом, исходная цветная фотография по-прежнему остается на вашем семейном сайте. Однако, если вы удалите исходную фотографию, версия с восстановленным цветом (если она существует) также будет удалена.

Настройки

Здесь вы найдете настройки восстановления цвета. Вы увидите, что текущая модель по умолчанию — это модель января 2021 года. Хотя мы считаем, что эта модель даст наилучшие результаты, в некоторых случаях альтернативная модель дает лучшие результаты. Вы можете настроить параметры повышения контрастности, насыщенности и рендеринга для точной настройки результатов.

Поделиться

Поделитесь своей восстановленной цветом фотографией на Facebook или Twitter или скопируйте ссылку, чтобы поделиться ею в другом месте.

Восстановление цветов на ранее раскрашенных фотографиях

Если вы ранее раскрашивали фотографию, сделанную в цвете (процесс, который имитирует цвета и может привести к их неправильному воспроизведению), вы все равно можете восстановить исходные цвета. Просто снова загрузите фотографию на MyHeritage. Если фотография изначально была цветной, вам будет предложено восстановить ее цвета.

Кроме того, вы также можете посетить раздел «Мои фотографии» на семейном сайте, найти фотографию в своей фотогалерее и щелкнуть по ней. Вам нужно будет удалить цветную версию фотографии, щелкнув значок корзины и выбрав «Раскрашенное фото» (или «Улучшенное цветное фото», если фотография также была улучшена). После перезагрузки страницы должна появиться кнопка «Восстановить цвета». Щелкните ее, чтобы восстановить цвета на фотографии. Это будет работать только в том случае, если исходная фотография действительно цветная.

Восстановление цветов с помощью мобильного приложения MyHeritage

Вы также можете восстановить фотографии с помощью самой последней версии мобильного приложения MyHeritage. Вы можете скачать его бесплатно в App Store или Google Play. Если у вас уже есть приложение, вам необходимо сначала обновить его, чтобы убедиться, что вы используете последнюю версию.

Посетите раздел «Фотографии», чтобы увидеть все свои загруженные фотографии.

Выберите любую выцветшую цветную фотографию из галереи и коснитесь значка цвета, чтобы восстановить цвета. Тот же значок позволяет раскрашивать или восстанавливать цвета в зависимости от используемой фотографии.

Процесс занимает несколько секунд. Как только цвета будут восстановлены, вы увидите фотографию с ползунком в центре, который вы можете перетащить, чтобы просмотреть полную фотографию до или после.

Щелкните значок, чтобы открыть дополнительные возможности: пометить фотографию, отредактировать или просмотреть сведения о фотографии, сохранить исходную фотографию, фотографию с восстановленным цветом или фотографию для сравнения в библиотеке или удалить исходную фотографию или фотографию с восстановленным цветом. Если вы удалите исходную фотографию, версия с восстановленным цветом также будет удалена.

Сколько это стоит?

Пользователи с полным планом MyHeritage могут восстанавливать цвета на неограниченном количестве фотографий.

Другие пользователи могут бесплатно раскрасить несколько фотографий и восстановить цвета на нескольких дополнительных фотографиях. Чтобы раскрасить или восстановить больше фотографий, необходима подписка. Неподписчики заметят водяной знак с логотипом MyHeritage в правом нижнем углу своих фотографий, а подписчики Complete смогут создавать раскрашенные и восстановленные по цвету фотографии без логотипа.

Резюме

Восстановление цвета с помощью MyHeritage In Color™ изменит ваше представление о старых цветных фотографиях. Вы можете провести время в своей жизни, восстанавливая цвета на своих фотографиях, вспоминая и делясь обновленными фотографиями со своими близкими. Пожалуйста, расскажите об этой удивительной функции, чтобы другие тоже могли ее попробовать. Наслаждаться!

Теги: цветные фотографии, восстановление цвета, MyHeritage восстановление цвета, старые фотографии, восстановление

переводов изображений в изображения для раскрашивания видео, восстановления изображений и создания лиц | Нуфаль Самсудин

4 минуты чтения

·

12 сентября 2020 г.

Модели Train Pix2Pix GAN для:

1. Раскрашивание и улучшение старых черно-белых зернистых видеоматериалов

2 , Закрашивание изображений для исправления царапин, отсутствующих пикселей и т. д.

3. Генерация лиц из рисунков

Генеративно-состязательные сети (GAN) показали себя чрезвычайно мощными в создании удивительных генеративных моделей, которые могут создавать музыку, писать стихи и даже генерировать невероятно реалистичные лица.

«самая интересная идея в машинном обучении за последние 10 лет» — Ян ЛеКанн

GAN были очень популярны в последние несколько лет, так как они были представлены Яном Гудфеллоу в 2014 году.

Основными факторами, способствующими популярности GAN (помимо его эффективности) является простота и интуитивность его дизайна.

GAN обычно состоит из 2 нейронных сетей:

1. Генератор

2. Дискриминатор

Процесс обучения можно представить как « соревнование между фальшивомонетчиками и полицией, », — сказал Гудфеллоу. « Фальшивомонетчики хотят делать фальшивые деньги, чтобы они выглядели настоящими, а полиция хочет посмотреть на любую конкретную купюру и определить, фальшивая ли она. »

Здесь генератор — это фальшивомонетчик, пытающийся сгенерировать поддельные данные. И дискриминатор узнает, как определить, являются ли сгенерированные данные поддельными. Этот процесс происходит итеративно, когда и дискриминатор, и генератор постепенно становятся лучше в своей работе. То есть дискриминатор очень хорошо справляется с идентификацией поддельных данных. И это заставит генератор сделать данные, которые кажутся очень реальными.

Ознакомьтесь с замечательными реализациями stylegan для создания лиц: ( https://thispersondoesnotexist.com/ )

В этой статье я продемонстрирую пользовательскую реализацию Pix2Pix GAN. Мой подход заключался в том, чтобы прочитать документ (преобразование изображения в изображение с условными состязательными сетями) и попытаться построить модель точно так, как описано в документе. Я использовал pytorch для реализации.

Pix2pix GAN показал многообещающие результаты в преобразовании изображения в изображение. Я создал pix2pix gan в pytorch и протестировал 2 пользовательских приложения.

Подробную информацию об архитектуре GAN и кодах можно найти на моей странице github.

Здесь я опишу 3 приложения и мой подход к настройке pix2pix для этих целей:

1. Восстановление видео интервью Малкольма Икса

Я наткнулся на эту запись удивительного интервью Малкольма Икса на Youtube. Я хотел попробовать и посмотреть, смогу ли я улучшить это видео, используя GAN pix2pix.

Учебная среда Pix2Pix:

Это упрощенное представление обучающей среды. Пожалуйста, обратитесь к оригинальной статье или моему репозиторию github для более подробной информации

Pix2pix выполняет преобразование изображения в изображение. Поэтому модель необходимо обучать на парах изображений. Генератор учится преобразовывать изображение A в изображение B. Как только модель изучила это сопоставление, его можно (надеюсь) повторно использовать для преобразования невидимого изображения A* в соответствующее ему B*.

В этом случае нам нужно преобразовать набор черно-белых зернистых изображений в цветные изображения. Для подготовки обучающих данных я загружаю 2 видео («Последние сцены в погоне за счастьем», «Самые смешные моменты в ток-шоу»), разбиваю видео на кадры и создаю зернистое ч/б изображение, используя некоторые базовые функции PIL. Итак, теперь у меня есть пары изображений для моих обучающих данных:

Обучающее видео (Ввод (слева) → Цель (справа))

Следующий шаг — научить мой pix2pix преобразовывать зернистые, ч/б версии видео в их расширенные версии. Как только метрики GAN сойдутся, мы можем остановить обучение и использовать генератор для нашей цели.

Затем генератор можно использовать для создания восстановленной версии интервью. Результаты просто потрясающие!!!, если можно так сказать 😄

Полное видео смотрите здесь:

Рекомендую смотреть со звуком — человек вдохновляет

2. Закрашивание изображений для исправления царапин, отсутствующих пикселей и т. д.

Для обучения я использовал набор данных VOC2012 и сгенерировал «искаженную версию» каждого изображения путем случайной обрезки пикселей и добавления черных линий и пятен. Протестировал его на протянутой части набора данных.

3. Создание лиц из рисунков

Честное предупреждение: сгенерированные изображения действительно тревожны. Возможно, не самая лучшая моя работа.

Для тестирования я настроил веб-камеру для чтения нарисованных от руки рисунков на стикерах.

Смотрите демонстрационное видео на свой страх и риск…😉

Я знаю, что то, что я здесь продемонстрировал, далеко от совершенства. Моя цель состояла в том, чтобы реализовать документ с нуля и узнать больше о pytorch. Я буду обновлять свой github более подробной информацией о процессе обучения, архитектуре и реализации.

Репозиторий Github: https://github.com/kvsnoufal/pix2pix

Плечи гигантов:

1. Преобразование изображения в изображение с помощью условных состязательных сетей (бумага)
2. Цветная раскраска изображения (бумага)
3. https://phillipi.github.io/pix2pix/
4. Тимейя
5. https: //www.tensorflow.org/tutorials/generative/pix2pix
6. https://www.pyimagesearch.com/2017/04/03/facial-landmarks-dlib-opencv-python/
7. https://www.
   Реставрация перевод из черно белого в цветное: Компьютерное зрение от Почты Mail.ru улучшит старые фотографии