Отражения в зрачке и «волшебные» стёкла
Валерия Сирота
«Квантик» №7, 2020
В фильме «Шерлок Холмс и доктор Ватсон» знаменитый сыщик говорит, что проверил, правда ли в зрачке жертвы остаётся изображение убийцы, и пришёл к выводу, что это полная чушь1. Однако в зрачках живого человека вполне может отражаться то, на что он смотрит, — например, на этих фотографиях в зрачке отражаются фотограф и смартфон, на который он снимает.
Но ведь зрачок — это пустое место, отверстие, через которое в глаз попадает свет! Там как раз ничего нет! Как же тогда получается отражение? И почему именно там, в зрачке, отражение получается даже лучше (как видно на фотографиях), чем от радужной оболочки глаза — цветного кольца, окружающего зрачок?
Прежде чем читать дальше, попробуйте сами ответить на эти вопросы!
***
В одной из задач в прошлом номере «Квантика» читателей спрашивали, как может быть устроено «одностороннее зеркало»: с одной стороны оно пропускает свет, как окно, а с другой — отражает, как зеркало.
В московском музее «Экспериментаниум» есть такой экспонат — «Волшебное стекло». По обе стороны от него — по стулу, возле каждого стула — лампочка. Два человека садятся напротив друг друга, и один из них включает свою лампу. И вот чудеса: тот, кто в тени, видит через стекло того, кто включил лампу и осветил себя; а тот, кто включил лампу… видит своё отражение. Для одного стекло прозрачное, для другого — это зеркало.
Но если лампу включит другой, а первый выключит — они поменяются ролями! На самом деле стекло обычное. Секрет в том, что любое стекло пропускает не весь падающий на него свет; небольшую часть света оно отражает. С той стороны, где лампа, на стекло падает много света; большая его часть проходит сквозь стекло и попадает, в том числе, в глаза того, кто сидит в темноте. Вот он и видит то, что за стеклом, — как в окне. Но небольшая часть, отражённая назад, попадает в глаза тому, кто освещён, — это немного, и его отражение получается неярким, но ведь ничего другого с той, теневой, стороны ему в глаза не попадает!
А что будет, если второй человек тоже включит лампу? Для него самого мало что изменится — ведь основная часть «нового» света уйдёт через стекло к его напарнику.
А вот напарник уже не будет видеть собственного тусклого отражения на ярком фоне того, кто за стеклом.
«Одностороннее зеркало» есть и у вас дома; но оно работает как зеркало не всегда, а только вечером или ночью. Это окно. Днём вы хорошо видите через стекло улицу, людей на ней, соседние дома… Оконное стекло почти без искажений пропускает уличный свет. А вечером, когда на улице темно, вы, подойдя к тому же окну, видите своё отражение!
Теперь понятно, почему: днём на улице света много, и на фоне яркой улицы мы не видим своего совсем слабенького отражения. Тёмным вечером с улицы никакого света не приходит, а в комнате светло — вот вы и видите отражение комнаты. Причём себя вы, скорее всего, увидите только в виде силуэта — вы ведь стоите лицом к окну, и лицо ваше вряд ли освещено. Чем ближе вы к окну, тем темнее ваше отражение. Однако если вы выключите в комнате свет — окно снова перестанет быть зеркалом…
Кстати, с экраном телефона или компьютера та же история — когда он выключен, а вы хорошо освещены, его можно использовать как зеркало.
А «настоящих» односторонних зеркал в природе не бывает: если свет проходит через какую-то среду в одну сторону, он может проходить и в обратную.
Где ещё работает этот эффект? Те, кто учатся рисовать, знают, что окна домов снаружи выглядят днём тёмными, а вечером — светлыми. Причина та же самая: днём снаружи светлее, чем внутри, поэтому от оконных стёкол отражается больше света, чем проходит через них изнутри. И вы, конечно, сами догадаетесь, почему ярким солнечным днём нехороший человек, подглядывающий в чужие окна, вынужден вплотную прижиматься к стеклу лбом, а вечером в освещённой комнате и люди, и предметы видны издалека.
Теперь вернёмся к вопросу про отражения на фотографиях глаз, который мы задали в начале этой статьи. Свет, падающий снаружи, отражается не от самого зрачка, а от поверхности глаза. Точнее, от тонкой плёнки жидкости, нужной для защиты от пыли, ветра, солнца и т. д. Почему же отражение в зрачке чётче и контрастнее, чем вокруг него, ведь над радужной оболочкой та же плёнка? Как раз потому, что в этом месте за плёнкой — пустота2, из глубины глаза наружу никакие лучи не приходят.
Как из окна при взгляде на тёмную ночную улицу. И ничто не мешает нам разглядеть отражение на чёрном фоне. А радужка и сама отражает прошедший через плёнку и попавший на неё свет — благодаря этому мы её видим. Этого «фонового» света больше, чем отражённого от плёнки; поэтому на яркой радужке слабенькое отражение от ровной поверхности плёнки малозаметно.
Кстати, на более светлой и яркой голубой радужке отражение видно хуже, чем на коричневой: чем темнее фон, тем меньше от него «своих» лучей и тем лучше для отражения.
А вот вам ещё вопрос: почему это в зеркале, или на ровной поверхности воды, или на гладкой поверхности металла мы видим отражение, а при взгляде на другие поверхности (вот на радужку, например, или на собственную руку) видим сами эти поверхности?
Фото автора
Художник Алексей Вайнер
1 В повести Конан Дойля «Этюд в багровых тонах», по которой снят фильм, такого эпизода нет. Придумали его создатели фильма или взяли из какого-то другого произведения Конан Дойля — автору неизвестно.
2 Честно говоря, не совсем пустота: перед зрачком есть ещё роговица, прозрачная «нашлёпка» — линза, покрывающая зрачок вместе с радужкой. И сам зрачок, который действительно представляет собой дырку в радужной оболочке, заполнен жидкостью. Но для нашей задачи это несущественно, хотя и очень важно для нормальной работы глаза: все эти среды прозрачны и не отражают, а только пропускают свет внутрь.
Отражение в глазах выдало в фотографиях людей дипфейки
Американские исследователи предложили новый метод, позволяющий отличить дипфейковое изображение от настоящего. Он основан на сравнении отражений в глазах человека: на реальных фотографиях отражения почти идентичны, а в созданных нейросетью они сильно разнятся между глазами. Статья опубликована на arXiv.org.
В последние несколько лет технологии подмены лиц на фотографиях и создания фотографий несуществующих людей резко продвинулись вперед, и теперь обнаружить такие подделки стало очень сложно как людям, так и алгоритмам.
Качество работы алгоритмов для создания дипфейков выросло настолько сильно, что государствам приходится принимать законы, запрещающие их применение, а компаниям — проводить конкурсы по созданию защиты от таких алгоритмов. Во многом быстрое развитие технологий в этой области связано с тем, что оно превратилось в классическое «противостояние щита и меча»: одни исследователи разрабатывают методы обнаружения дипфейков, а другие учитывают их наработки и создают новые алгоритмы, невосприимчивые к этим методам. Все это привело к тому, что сейчас работу лидирующих дипфейк-алгоритмов можно обнаружить лишь по небольшим артефактам на изображениях.
Исследователи из Университета Баффало под руководством Сывея Люя (Siwei Lyu) нашли новый недостаток, по которому можно отличить дипфейк от обычной фотографии — отражения в глазах. Поскольку глаза человека расположены гораздо ближе друг к другу, чем источник света, на реальной фотографии отражения в обоих глазах почти одинаковы за исключением редких случаев, например, если свет от одного из источников света попадает только на один глаз.
Однако в алгоритмах для подмены или создания лиц нет физических ограничений, описывающих поведение отражений, поэтому на создаваемых ими изображениях отражения в глазах разнятся гораздо сильнее.
Авторы работы создали алгоритм, который автоматически определяет дипфейки по отражениям, который работает следующим образом. Сначала он обнаруживает на изображении лицо, размечает на нем ключевые точки и на их основании вырезает область, ограниченную радужной оболочкой. Затем алгоритм бинаризирует это изображение, превращая пиксели с яркостью выше пороговой в черные, а остальные — в белые. В результате образуется два изображения (по одному на глаз) с формой отражений, между которыми рассчитывается схожесть по коэффициенту Жаккара.
Исследователи оценили работу алгоритма на двух выборках: реальных лицах из датасета Flickr-Faces-HQ и сгенерированных нейросетью StyleGAN2 с сайта This Person Does Not Exist. На графике коэффициента Жаккара явно видно, что распределения реальных и фейковых фотографий значительно отличаются.
Также они построили для этих распределений ROC-кривую и показали, что точность классификации (отнесения фотографии к одному из двух типов) составляет 94 процента.
Несмотря на высокий результат, авторы отметили, что он был достигнут на фотографиях с портретным расположением лица и ярким освещением. Если применить метод к другим фотографиям, особенно к тем, в которых на глазах нет явных отражений, его эффективность будет ниже. Кроме того, их алгоритм сравнивает разницу между отражениями попиксельно, не учитывая форму всего отражения, что давало бы более качественный результат.
Дипфейки обычно связывают с негативными применениями, к примеру, созданием ботов в соцсетях или недостоверных видеозаписей от лица знаменитостей, но их можно использовать и во благо. Например, норвежские разработчики предложили заменять лица людей на дипфейки, чтобы создавать анонимизированные изображения, сохраняющие при этом близкое к оригинальному распределение данных.
Григорий Копиев
Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Посмотри мне в глаза
Если вы внимательно посмотрите в глаза другу, вы можете представить, что видите его или ее мысли и мечты.
Но, скорее всего, вы просто увидите свой образ — и то, что находится позади вас.
Наши глазные яблоки похожи на маленькие круглые зеркала. Покрытые слоем соленой жидкости (слезы), их поверхности отражают свет так же, как поверхность пруда.
Если вы внимательно посмотрите человеку в глаза, вы увидите отражение сцены перед человеком. В этом случае вы также видите камеру, которая сделала снимок человека. |
| Ко Нишино и Шри Наяр |
Издалека мы видим блеск в глазах других людей, говорит Шри Наяр, специалист по информатике из Колумбийского университета в Нью-Йорке. «Если вы посмотрите вблизи, — говорит он, — вы на самом деле увидите отражение мира».
Анализируя отражение глаз людей на фотографиях, Наяр и его коллега Ко Нишино выяснили, как воссоздать мир, отраженный в чьих-то глазах.
После увеличения правого глаза (в центре) человека, показанного слева на этой фотографии с высоким разрешением, компьютер может использовать отражения в глазу (в центре) для создания изображения окружения человека. При этом видно небо и здания |
| Ко Нишино и Шри Наяр |
Предоставление компьютерам возможности отслеживать наш взгляд может помочь им взаимодействовать с нами более по-человечески. Такая возможность может помочь историкам и детективам реконструировать сцены из прошлого. Кинематографисты, создатели видеоигр и рекламодатели также находят применение исследованиям Наяра.
«Это метод, о котором раньше люди и не подозревали, — говорит специалист по информатике из Колумбийского университета Стивен Файнер. «Это весьма захватывающе.»
Отслеживание взгляда
Технология отслеживания взгляда уже существует, говорит Файнер, но большинство систем неуклюжи или неудобны в использовании.
Пользователям часто приходится держать голову неподвижно. Или им приходится носить специальные контактные линзы или головной убор, чтобы компьютер мог считывать движения центров их глаз или зрачков.
Зрачок глаза пропускает свет. Радужная оболочка — это цветная область вокруг зрачка. Зрачок и радужка покрыты прозрачной оболочкой, называемой роговицей. |
Наконец, при таких обстоятельствах пользователи знают, что за их глазами следят. Это может заставить их вести себя неестественно, что может сбить с толку ученых, которые их изучают.
Система Наяра намного незаметнее. Для этого требуется только «наведи и снимай» или видеокамера, которая делает снимки лиц людей с высоким разрешением. Затем компьютеры могут анализировать эти изображения, чтобы определить, в каком направлении смотрят люди.
Для этого компьютерная программа идентифицирует линию, где радужная оболочка (цветная часть глаза) встречается с белком глаза.
Если вы смотрите прямо в камеру, ваша роговица (прозрачная внешняя оболочка глазного яблока, покрывающая зрачок и радужную оболочку) выглядит идеально круглой. Но когда вы смотрите в сторону, угол кривой меняется. Формула вычисляет направление взгляда на основе формы этой кривой.
Затем программа Наяра определяет направление, из которого исходит свет, когда он попадает в глаз и отражается обратно в камеру. Расчет основан на законах отражения и на том факте, что нормальная взрослая роговица имеет форму сплющенного круга — кривой, называемой эллипсом.
Сплющивание круга (слева) дает геометрическую фигуру, называемую эллипсом (справа). |
Компьютер использует всю эту информацию для создания «карты окружающей среды» — круглого, похожего на аквариум изображения всего, что окружает глаз.
«Это общая картина того, что окружает человека, — говорит Наяр.
«А теперь самое интересное, — продолжает он. «Поскольку я знаю, как это эллипсоидальное зеркало наклонено в сторону камеры, и поскольку я знаю, в каком направлении смотрит глаз, я могу использовать компьютерную программу, чтобы точно определить, на что смотрит человек».
Из отражения глаза компьютер может создать карту окружающей среды, которая создает изображение того, что находится перед человеком. |
| Ко Нишино и Шри Наяр |
Компьютер делает эти расчеты быстро, и результаты очень точны, говорит Наяр. Его исследования показывают, что программа определяет, куда смотрят люди, с точностью до 5 или 10 градусов. (Полный круг равен 360 градусам.)
Я шпион
Наяр планирует использовать эту технологию для создания систем, облегчающих жизнь парализованным людям. Используя только свои глаза и компьютер, чтобы отслеживать, куда они смотрят, такие люди могли печатать, общаться или управлять инвалидной коляской.
Психологи также заинтересованы в более совершенных устройствах для отслеживания взгляда, говорит Наяр. Одна из причин заключается в том, что движения наших глаз могут показать, говорим ли мы правду и что мы чувствуем.
Специалисты по рекламе хотели бы знать, какая часть изображения больше всего привлекает наше внимание, чтобы создать более эффективную рекламу. Кроме того, видеоигры, которые чувствуют, куда смотрят игроки, могут быть лучше, чем существующие игры.
По свету, отраженному в глазу, можно понять, на что смотрит человек. В этом случае человек смотрит на улыбающееся лицо. |
| Ко Нишино и Шри Наяр |
Историки уже исследовали отражения в глазах людей на старых фотографиях, чтобы узнать больше об обстановке, в которой они были сфотографированы.
Кинематографисты используют программы Наяра, чтобы реалистично заменить лицо одного актера лицом другого.
Используя карту окружающей среды, взятую из глаз одного актера, компьютерная программа может идентифицировать каждый источник света в сцене. Затем режиссер воссоздает такое же освещение на лице другого актера, прежде чем в цифровом виде заменить это лицо первым.
Создание компьютеров, которые взаимодействуют с вами на ваших условиях, — еще одна долгосрочная цель, — говорит Файнер.
Ваш компьютер может сообщить вам, например, о важном сообщении электронной почты, различными способами. Если вы отводите взгляд, вы можете захотеть, чтобы машина издала звуковой сигнал. Если вы разговаривали по телефону, мигающий индикатор может быть более подходящим. И если вы смотрите на экран компьютера, может появиться сообщение.
«Важность этой работы в том, что она позволяет компьютеру больше узнать о том, что вы видите», — говорит Файнер. Это ведет к машинам, которые взаимодействуют с нами так, как люди взаимодействуют друг с другом.
Вглубь:
Дополнительная информация
Вопросы по статье
Word Find: Reflections
Отражение в зрачке человеческого глаза может показать то, что видит человек
Автор Лес Шу
Что, если бы вы могли идентифицировать фотографа изображения или определить место, где была сделана фотография, увеличив зрачок глаза объекта? Звучит как научная фантастика (на самом деле серия Доктор Кто несколько исследовал эту идею), но исследования факультета психологии Йоркского университета показывают, что это возможно и может помочь правоохранительным органам в судебной экспертизе, по словам Курцвейла. Исследование под названием «Идентифицируемые изображения свидетелей, извлеченные из отражений роговицы» было опубликовано в научном журнале PLOS ONE.
Доктор Роб Дженкинс из Йоркского университета и соавтор Кристи Керр из Школы психологии Университета Глазго смогли точно идентифицировать фотографа, несмотря на низкое разрешение. Одним из полезных применений этой техники является помощь в идентификации фотографий с камеры, оставленных преступником, на которых фотографируются жертвы; если объект смотрит в камеру, информация от отражения зрачка объекта может быть важной.
«Зрачок глаза подобен черному зеркалу», — сказал Дженкинс KurzweilAI. «Чтобы улучшить изображение, вам нужно увеличить масштаб и настроить контрастность. Изображение лица, полученное из отражения в глазах субъекта, примерно в 30 000 раз меньше, чем лицо субъекта.
Несмотря на пикселизированное качество этого изображения с низким разрешением, большинство из нас может идентифицировать этого человека.«В контексте уголовных расследований это может быть использовано для объединения сетей сообщников или для привязки отдельных лиц к определенным местам», — добавил Дженкинс. «Это может быть особенно важно для категорий преступлений, в которых преступники фотографируют своих жертв. Отражения в глазах жертв могут раскрыть личность фотографа».
На другой стороне медали Дженкинс сказал, что из 40 миллионов фотографий, загруженных в Instagram, чаще всего загружаются лица. Глаза могут быть одним из способов использования этих общедоступных фотографий для добычи информации.