Google pixel 2 xl примеры фото: Google Pixel 2, DxOmark

Устаревший Google Pixel 2 разгромил новые iPhone (2018) в тесте камеры

Pixel 2 XL был представлен 4 октября 2017 года, то есть больше года назад. За этот период Google успела выпустить Pixel 3 и 3 XL. Смартфоны стали снимать заметно лучше, но владельцев Pixel 2 это не должно огорчать, ведь компания не так давно выпустила для всех Pixel-аппаратов обновление камеры, которое добавило ночной режим Night Sight. В 2018 году Apple сильно улучшила качество фотографий, если речь идёт об идеальных условиях съемки. Однако при плохом освещении новые iPhone не способны тягаться даже с Pixel 2. Вы удивитесь тому, насколько сильна разница в качестве фотографий между этими смартфонами. Pixel 2 буквально разгромил новые iPhone (2018) в тесте камеры.

Выше показаны примеры фото, полученные с помощью ночного режима Night Sight в Pixel 2. Результат впечатляет: картинка светлая, сочная, отсутствуют заметные шумы. Удивительно, как Google удалось программно настолько улучшить качество фотографий.

Pixel 2 снабжён 5-дюймовый FullHD-дисплеем, 12-Мп основной камерой Sony IMX 362 и 8-Мп фронтальной, процессором Snapdragon 835, 4 ГБ оперативной и 64/128 ГБ встроенной памяти.

Модулем камеры IMX 362 оснащены многие смартфоны, но все они не сравнятся с Pixel 2 по качеству фото

Теперь давайте сравним устаревший флагман Google с новыми iPhone:

iPhone (2018)

Google Pixel 2

iPhone (2018)

Google Pixel 2

iPhone (2018)

Google Pixel 2

iPhone (2018)

Google Pixel 2

iPhone (2018)

Google Pixel 2

Разница колоссальная! Pixel 2 имеет гораздо больше деталей, цвета сочнее, картинка ярче. Очевидно, что маркетинг Apple хорош, но не настолько, чтобы скрыть такие недостатки. Не уверен, что те, кто купил iPhone XS, предполагают, что по качеству снимков их смартфон может проиграть устройству 2017 года. По правде говоря, даже меня такой результат откровенно удивил.

Очень интересно узнать мнение читателей, которые являются обладателями смартфонов бренда Apple. Как вы относитесь к такому поражению? Вашей позицией делитесь ниже в комментариях или в Telegram-чате.

Источник

Теги

• Apple против Android
• Компания Google
• Смартфоны Google Pixel

Лонгриды для вас

Стало известно, что будет с Google Pixel в 2023, 2024 и 2025 годах

Смартфоны Google Pixel за последнее время стали значительно лучше, чем когда-либо. Во-первых, серия Pixel 6 принесла импульс критикам и имела коммерческий успех. Именно в этом вся линейка отчаянно нуждалась после относительного провала Pixel 5 и Pixel 4. Но на этом все не остановилось, и компания продолжила напирать. Серия Pixel 7 получила еще большее признание критиков и дополнительно подняла продажи. Даже по своим знакомым и российским интернет-магазинам я вижу, что интерес ко «второму американскому смартфону» стал существенно выше. Все это заставляет задаваться вопросом, чего мы можем ожидать от Google в 2023 году и далее? И теперь у нас есть ответ на этот вопрос.

Читать далее

Почему Айфон долговечнее Андроид-смартфонов

Многие ошибочно полагают, что разницы между iPhone и Android-смартфонами нет: комплектующие практически от одних и тех же поставщиков, внешний вид похож да и операционные системы стали практически одинаковыми. Но вся разница кроется внутри: дело тут не в процессорах или камерах, а в самом производстве. Оказывается, сборка iPhone производится большим количеством рабочих, нежели китайских смартфонов! Несомненно, это один из факторов, почему Айфоны надежнее других смартфонов. Но почему сборкой устройств от Apple занимается большее количество рабочих: все дело в требованиях компании или в отсталости производства? Давайте разберемся, в чем же дело.

Читать далее

Сравнение Snapdragon 8 Gen 2 и A16 Bionic: iPhone снова круче флагманов на Android

Qualcomm не так давно представила новый Snapdragon 8 Gen 2, который оказался отнюдь не рядовым исправлением ошибок процессоров прошлого поколения, а совершенно новым чипом. Эксперты даже поторопились назвать платформу едва ли не самой успешной за последнее время! Впрочем, спустя некоторое время, когда эмоции подутихли, пришло время сравнить новый Snapdragon с Apple A16 Bionic — именно по результатам этого теста уже и станет понятно, насколько хорош новый чип. К счастью, их уже успели сравнить. Рассказываем, как изменился процессор Snapdragon и на сколько он отстает от Apple Silicon.

Читать далее

2 комментария

Новый комментарий

Новости партнеров

• Вышло первое обновление Телеграм в 2023. Что нового

• Это лучшие Быстрые команды для Айфона, которыми можно пользоваться бесплатно

• Ваши ожидания — ваши проблемы. Apple заработала меньше, чем все думали

• 5 отличных игр в слова для вашего Айфона

Сравнение камер Samsung Galaxy S9+ и Google Pixel 2 XL

Все флагманы, вышедшие за последние полгода снимают ого-го как круто. Но есть два абсолютных лидера: Google Pixel 2 XL и Samsung Galaxy S9+. Сегодня как раз и сравним качество съёмки фото и видео на эти два аппарата. Небольшая интрига в самом начале — итог вышел неожиданными.

Если что, здесь большой обзор Samsung Galaxy S9+.

Предлагаю разбить материал на разделы: дневное фото, ночная съёмка, портреты, запись видео и так далее. В каждом разделе у нас будет свой лидер и по сумме баллов определим конечного победителя. Погнали!

Дневная съёмка — солнечная погода

Практически идеальные условия для съёмки на любую фототехнику. В таких условиях освещения зажжёт любой смартфон — даже середнячок от Xiaomi. И тем не менее, приступим к сравнению камеры Samsung Galaxy S9+.

Сразу договоримся. Кадры, снятые на Samsung Galaxy S9+ будут всегда слева, а снимки с Google Pixel 2 XL всегда справа. Если зашли с мобильного, то первым идёт фото с самсунга, вторым с пикселя — всё просто.

Смотрим на первую пару примеров.

Одинаковые условия освещения, однако Samsung ничего не сделал, чтобы вытянуть дерево справа. Pixel 2 XL применил свой HDR+, поэтому мы можем рассмотреть дерево во всех нюансах. Однако в данном случае это не главное.

Приближаем снимки и получаем детализацию чуть выше у пикселя.

Вот ещё пара примеров. На первый взгляд обе фотографии сняты прекрасно, никаких проблем.

Однако стоит приблизить и мы видим, что S9+ превратил фотографию в акварельную картину, а вся детализация наглухо задавлена шумодавом. Зачем он вообще здесь? При яркой и солнечной погоде!

В конечном счёте при дневном, ярком солнце лучше себя показал Google Pixel 2 XL. Первое очко уходит ему.

Дневная съёмка — пасмурно

Весна — это не всегда задорные ручейки, солнечные зайчики и прочая ми-ми-мишность. В нашей полосе это пасмурная погода, грязные дороги, куча всякого неприятного, что скрывалось под снегом всю зиму — в общем, условия, в которых на чтобы ты не снимал, получается полная лажа.

И тут Samsung раскрылся по полной программе. В хорошем смысле. Тёмные участки он постарался высветлить, в то время как Pixel вообще ничего не стал делать. Снял и ладно.

Ещё один пример. Вроде бы обычный дом с яркими стенами, однако S9+ заметил это и поджёг картинку насколько смог. Google опять снял как есть. А есть в нашей средней полосе России сейчас не очень, не Калифорния всё-таки, где всегда солнышко и где был разработан пиксель.

В итоге, за съёмку в пасмурную погоду заслуженное очко получает Samsung.

Внутри помещения

Мы часто делаем фотографии дома или где-то ещё в помещении. Как правило, освещение в таких ситуациях оставляет желать лучшего. Поэтому перед каждой камерой есть выбор: сделать фото как можно более детализированным, но оставить в шумы по всему кадру, либо задавить цветной шум с матрицы, но попрощаться с детализацией. S9+ выбирает второй путь, не самый правильный, на мой взгляд.

Pixel, стараясь сохранить детали предметов, слегка шумит, однако всё не настолько плохо, чтобы забраковать фотографию — баланс соблюдён, а значит, аппарат от Google получает плюс один балл.

Пока итог выглядит так — 1:2.

Макро

Этот вид съёмки легко даётся практически любому смартфону. Берёшь какого-нибудь китайца за 100 баксов, снимаешь им пейзаж и плюёшься от результата. А сфотографировал цветочек и получилось не дурственно, можно отправить кому-нибудь в мессенджере.

В этом отношении к флагманам вопросов ещё меньше — макромир они снимают очень здорово.

Вот вам сразу три пары снимков с обеих камер. Кто справился лучше по-вашему мнению?

Лично мне в плане детализации понравились две фотографии с камеры Samsung и только одна с Google. Два против одного, а значит, балл уходит корейцу — 2:2.

Ночная съёмка

Условия освещения, которые выведут на чистую воду любого наглеца, умудрившегося снять красивый кадр днём.

Здесь у меня для вас сразу четыре разных примера, сделанных в городских условиях. Смотрим сначала на фото, а потом на их кропы.

Думаю, очевидно, что ночью лучше снимает Google Pixel 2 XL. Самсунг проиграл просто потому, что использует какие-то дикие алгоритмы, задавливающие вместе с шумами и все детали на снимках. Контрольная пара примеров только закрепляет сие утверждение.

В этот раз очко достаётся «гуглофону». Счёт 2:3.

HDR — где лучше?

Pixel 2 XL славится своим расширенным HDR+, который способен вытянуть любую, даже самую сложную фотографию. Даже, если снимаешь прямо против солнца, небо получается синим, а кусты и деревья не сливаются в чёрное месиво — различим каждый листочек.

К моему удивлению, Samsung удалось дать на это адекватный ответ, причём, он даже превзошёл признанного лидера в плане HDR-съёмки. Смотрим.

Однако в последнем примере с лучшей стороны показал себя пиксель. Опять ситуация, когда два против одного. Делать нечего — всё равно присуждаем победу самсунгу.

Счёт 3:3.

Размытие фона

Размытие фона предметов — это одно, а портретная съёмка — совсем другое. Поэтому сделаем два подраздела.

Режим портрета

Samsung умеет делать классные портреты с аккуратно отделённым объектом спереди от заднего плана. Однако пикселю он явно не конкурент.

Гуглофону удаётся не только изящно отделить фон (с одной то камерой!), но и сохранить естественное освещение, достойно передать цвет кожи и в целом сделать картинку живой и объёмной. Художественность у такого кадра гораздо выше.

Кроме того, при переключении в режим портрета Samsung очень серьёзно обрезает кадр и вместо фокусного расстояния 26 мм, мы получаем 52 мм. Google фокусное расстояние тоже сужает, но не так кардинально.

Ночной портрет — это уже запредельно сложные условия съёмки для любого смартфона. Тем не менее, Pixel 2 XL сделал хоть что-то, в то время как S9+ слепил непонятно что.

В общем и целом, победа за американским смартфоном. Счёт 3:4.

Предметная съёмка + боке

По качеству размытия фона Google опять впереди, однако есть два больших НО.

Первое — S9+ засчёт двух задних камер способен размыть фон даже в самых неочевидных ситуациях, в то время как Pixel не видит, что нужно размывать и какой объект находится на переднем плане, а где, собственно, вообще фон. Вот яркий пример.

Второе — самсунг умеет изменять интенсивность размытия (после съёмки в том числе) от минимального до очень глубокого. Пиксель же мылит всегда одинаково — наглухо, а это не всегда уместно.

По этой причине счёт опять выравнивается — 4:4.

Зум

Samsung Galaxy S9+ получил две камеры с разными объективами: на 26 и 52 мм. Другими словами, первый объектив — это ширик, а второй — телевик. Переключаясь туда-сюда мы либо приближаем объект съёмки, либо отдаляемся от него. Причём, работает всё это дело без потерь в качестве.

Ну, практически без потерь, ибо второй сенсор (с 56-миллиметровым объективом) по качеству всё же чуть хуже первого. Однако это совсем не тоже самое, что цифровой зум в Pixel 2 XL, который, понятно, сильно портит картинку при приближении. Вот доказательство.

В итоге победа за корейцем — 5:4.

Селфи

На экране смартфона, в соцсетях автопортреты с обоих флагманов выходят очень приличными. Однако стоит только открыть материалы на большом экране компьютера, приблизить и сразу становится ясно, что детализации на фото с S9+ недостаточно, в то время как Pixel 2 XL снял всё как положено.

Samsung Galaxy S9+

Google Pixel 2 XL

Кому кажется, что с детализацией перебор, может включить ретушь или отредактировать фото в стороннем приложении. Однако вот повысить качество исходника не удастся ни одному даже самому продвинутому редактору, поэтому победа за вторым гуглофоном.

Соперники снова сравнялись — 5:5.

Селфи + боке

Несмотря на наличие одной камеры у каждого аппарата, они оба умеют размывать фон. И делает это не в пример лучше, конечно же, флагман от Google. А потому он сразу же уходит вперёд — 5:6.

Samsung Galaxy S9+

Google Pixel 2 XL

Видеозапись

В начале дисклеймер. Почему я смешал в одном тесте и фото-, и видеозапись? Всё потому, что мы, как правило, подбираем себе в использование один единственный смартфон. Мы не покупаем один аппарат для фото, другой для видеозаписи, третий для чего-то ещё. Хотя есть, конечно, и такие персонажи, но они исходя из этого сравнения камеры Samsung Galaxy S9+ с главным конкурентом, думаю, и так сделают правильный для себя выбор. А мы продолжаем.

Основные камеры

Оба девайса умеют писать видео в разрешении 4K (3840 на 2160 пикселей). Однако Samsung может чуточку больше — он пишет ролики с частотой в 60 кадр/с. Pixel может похвастаться только тридцатью кадрами, а это уже вчерашний день. Пока плюс у Samsung`а.

А вот по качеству самого контента впереди именно 2 XL. У него картинка более информативная, плавная и более пригодна для последующего редактирования. Промежуточный счёт — один-один.

S9+ не сбавляет обороты и вырывается вперёд за счёт звука — качество записи последнего явно выше, чем у конкурента. Включаем ниже видео, ставим максимальную резолюцию и оцениваем всё и сразу.

Вроде бы победитель уже определён, однако не тут-то было. Пикселю есть, чем ответить напоследок — стабилизацией, которая у него работает на голову выше. Сравнительное видео? Пожалуйста.

В конечном счёте, у нас нет победителя по части видеороликов. Оба смартфона получают по одному баллу. Счёт 6:7.

Slow Motion

Несмотря на ограничения режима Slo-Mo (разрешение всего лишь 720p, запись отрезка всего в 2 секунды) — это всё равно крутая фишка, которой у пикселя вообще нет.

Даже, если сравнивать только стандартные режимы замедленной съёмки, то при 240 кадрах в секунду самсунг снимает в 1080p разрешении, а Pixel 2 XL только лишь в 720p.

В общем, заслуженное очко уходит галактике — 7:7.

С передней камеры

У S9+ есть явное преимущество, а если точнее, то целых три:

• автофокус в фронтальной камере
• разрешение съёмки 2560 x 1440 пикселей (у 2 XL только 1920 x 1080)
• продвинутая запись звука

Гуглофону просто нечего предложить в ответ, поэтому лидером у нас становится кореец с отрывом в одно очко — 8:7. Сравнительное видео тут.

Итог

На этом собственно и всё. Вы сами всё видели — победитель в лице Samsung Galaxy S9+ был выбран по результатам объективного теста.

Откровенно говоря, я не ожидал такого результата. Не ожидал, что S9+ опередит Pixel 2 XL в плане фотосъёмки. Ведь у самсунга получаются так себе селфи, он не всегда выдаёт с камеры естественную, объёмную и живую картинку. И тем не менее, ему удалось заткнуть за пояс наглого заморского выскочку — Google Pixel 2 XL.

Однако я всё-таки замечу, что пиксель не стоит списывать со счетов. Он снимал и продолжает снимать потрясающе красивые и отменные фотографии. Купив Pixel 2 XL точно не прогадаешь с выбором, точно получишь топовое на сегодняшний день устройство для фото- и видеосъёмки. Просто, как это часто в жизни бывает, нет ничего чёрного или белого, есть очень много промежуточных оттенков.

Pixel делает более художественные портреты и снимает отличные по детализации фото. Galaxy S9+ радует шикарным зумом без потерь в качестве и отличным режимом HDR. Американец предлагает топовое качество картинки во время видеозаписи (на уровне iPhone X), кореец же замедляет видео, словно машина времени, и записывает шикарнейший звук без сторонних аксессуаров.

Нам остаётся только определиться, какие режимы важны конкретно для нас, и исходя из этого сделать свой, единственно верный для себя выбор.

Google Google Pixel 2 Google Pixel 2 XL Samsung Samsung Galaxy S9

Портретный режим на смартфонах Pixel 2 и Pixel 2 XL — блог Google AI

Авторы: Марк Левой, главный инженер, и Яэль Притч, инженер-программист

позволяет любому делать профессионально выглядящие изображения с малой глубиной резкости. Эта функция помогла обоим устройствам получить наивысший рейтинг мобильных камер DxO и работает как с задней, так и с передней камерами, хотя ни одна из них не является двойной камерой (обычно требуется для получения этого эффекта). Сегодня мы обсудим методы машинного обучения и вычислительной фотографии, лежащие в основе этой функции.

Изображение HDR+ без (слева) и с (справа) портретным режимом. Обратите внимание, как синтетическая малая глубина резкости в портретном режиме помогает скрыть загроможденный фон и сосредоточить внимание на главном объекте. Нажмите на эти ссылки в заголовке, чтобы увидеть версии в полном разрешении. Фото Мэтта Джонса

Что такое изображение с малой глубиной резкости?
Однообъективная зеркальная камера (SLR) с большим объективом имеет малую глубину резкости, что означает, что объекты на одном расстоянии от камеры четкие, а объекты перед или за этой «плоскостью в фокусе» размыты . Небольшая глубина резкости — хороший способ привлечь внимание зрителя к объекту или убрать загроможденный фон. Небольшая глубина резкости придает портретам, снятым с помощью зеркальных фотокамер, характерный художественный вид.

Степень размытия изображения с малой глубиной резкости зависит от глубины; чем дальше объекты находятся от плоскости фокусировки, тем более размытыми они выглядят. Степень размытия также зависит от размера отверстия объектива. Объектив 50 мм с апертурой f/2,0 имеет отверстие диаметром 50 мм/2 = 25 мм. С таким объективом объекты, находящиеся даже в нескольких дюймах от плоскости фокусировки, будут казаться мягкими.

Еще один параметр, который стоит знать о глубине резкости, — это форма, которую принимают размытые световые точки. Эта форма называется боке и зависит от физической структуры апертуры объектива. Боке круглое? Или это шестигранник, из-за шести металлических лепестков, образующих диафрагму внутри некоторых объективов? Фотографы неустанно спорят о том, что считать хорошим или плохим боке.

Синтетические изображения с малой глубиной резкости
В отличие от зеркальных камер, камеры мобильных телефонов имеют маленькую диафрагму фиксированного размера, что позволяет получать изображения, в которых все более или менее находится в фокусе. Но если бы мы знали расстояние от камеры до точек сцены, мы могли бы заменить каждый пиксель на картинке размытием.

Это размытие будет средним значением цвета пикселя с его соседями, где степень размытия зависит от расстояния этой точки сцены от плоскости фокусировки. Мы также можем контролировать форму этого размытия, то есть боке.

Как сотовый телефон может оценить расстояние до каждой точки сцены? Самый распространенный метод — разместить две камеры близко друг к другу — так называемые телефоны с двумя камерами. Затем для каждого фрагмента изображения левой камеры мы ищем соответствующий фрагмент изображения правой камеры. Позиция на двух изображениях, где найдено это совпадение, дает глубину этой функции сцены посредством процесса триангуляции. Этот поиск совпадающих признаков называется стереоалгоритмом, и он работает почти так же, как наши два глаза.

Более простая версия этой идеи, используемая некоторыми приложениями для смартфонов с одной камерой, включает разделение изображения на два слоя: пиксели, которые являются частью переднего плана (обычно это человек), и пиксели, которые являются частью фона.

Это разделение, иногда называемое семантической сегментацией, позволяет размыть фон, но не имеет понятия о глубине, поэтому не может сказать, насколько сильно его размыть. Также, если перед человеком, т.е. очень близко к камере, есть объект, он не будет размыт, хотя реальная камера это сделала бы.

Искусственное размытие пикселей, принадлежащих фону, при использовании стерео или сегментации называется синтетической малой глубиной резкости или синтетической расфокусировкой фона. Синтетическая расфокусировка — это не то же самое, что оптическое размытие, которое можно получить от зеркальной фотокамеры, но для большинства людей оно похоже.

Как портретный режим работает на Pixel 2

Google Pixel 2 предлагает портретный режим как на задней, так и на передней камерах. Для фронтальной (селфи) камеры используется только сегментация. Для задней камеры используется как стерео, так и сегментация. Но подождите, у Pixel 2 только одна задняя камера; как он может видеть в стерео? Давайте рассмотрим процесс шаг за шагом.

Шаг 1: Создайте изображение HDR+.
Портретный режим начинается с изображения, на котором все четко. Для этого мы используем HDR+, метод вычислительной фотографии Google для улучшения качества захваченных фотографий
, который работает на всех последних телефонах Nexus/Pixel. Он работает, захватывая серию недоэкспонированных изображений, чтобы избежать засвечивания светлых участков, выравнивая и усредняя эти кадры, чтобы уменьшить шум в тенях, и усиливая эти тени таким образом, чтобы сохранить локальный контраст и разумно уменьшить общий контраст. В результате получается изображение с широким динамическим диапазоном, низким уровнем шума и четкими деталями даже при тусклом освещении.

Идея совмещения и усреднения кадров для уменьшения шума известна в астрофотографии уже несколько десятилетий. Реализация Google немного отличается, потому что мы делаем это на серийной съемке ручной камерой, и нам нужно быть осторожными, чтобы не создавать фантомы (двойные изображения), если фотограф не стоит неподвижно или если объекты в сцене движутся. Ниже приведен пример сцены с высоким динамическим диапазоном, снятой с использованием HDR+.

Фотографии с Pixel 2 без (слева) и с (справа) включенным HDR+. Обратите внимание, как HDR+ не засвечивает небо и внутренний двор, сохраняя при этом детали на темном потолке аркады. Фото Марка Левоя

Шаг 2. Сегментация переднего плана и фона на основе машинного обучения . Это сложная проблема, потому что, в отличие от хромакея (он же зеленый экран) в киноиндустрии, мы не можем предположить, что фон зеленый (или синий, или любой другой цвет). Вместо этого мы применяем машинное обучение.

В частности, мы обучили нейронную сеть, написанную на TensorFlow, которая просматривает изображение и производит оценку того, какие пиксели являются людьми, а какие нет. Конкретная сеть, которую мы используем, — это сверточная нейронная сеть (CNN) с пропуском соединений. «Сверточный» означает, что изученные компоненты сети имеют форму фильтров (взвешенная сумма соседей вокруг каждого пикселя), поэтому вы можете думать о сети как о простой фильтрации изображения, затем фильтрации отфильтрованного изображения и т. д. «Пропуск соединений» позволяет легко передавать информацию от ранних стадий сети, где она анализирует низкоуровневые функции (цвет и края), до более поздних стадий сети, где она анализирует высокоуровневые функции (лица и части тела). ). Подобное объединение этапов важно, когда вам нужно не просто определить, есть ли на фотографии человек, но и точно определить, какие пиксели принадлежат этому человеку. Наш CNN был обучен почти миллиону фотографий людей (и их шляп, солнцезащитных очков и рожков мороженого). Вывод для создания маски выполняется на телефоне с помощью TensorFlow Mobile. Вот пример:

Слева — изображение, созданное нашим конвейером HDR+, а справа — сглаженный результат нашей нейронной сети. Сеть считает, что белые части этой маски являются частью переднего плана, а черные — фоном. Фото Сэма Квескина

Насколько хороша эта маска? Не плохо; наша нейронная сеть распознает волосы женщины и ее чашку как часть переднего плана, поэтому она может сохранять их резкость. Если мы размоем фотографию на основе этой маски, мы получим следующее изображение:

Синтетическое изображение малой глубины резкости, созданное с использованием маски.

В этом результате следует отметить несколько моментов. Во-первых, степень размытия одинакова, хотя фон содержит объекты разной глубины. Во-вторых, зеркальная камера также размывает выпечку на ее тарелке (и саму тарелку), поскольку она находится близко к камере. Наша нейронная сеть знает, что печенье не является ее частью (обратите внимание, что оно черное на изображении с маской), но, находясь под ней, оно вряд ли будет частью фона.

Мы явно обнаруживаем эту ситуацию и сохраняем эти пиксели относительно четкими. К сожалению, это решение не всегда правильное, и в этой ситуации нам нужно было сильнее размыть эти пиксели.

Шаг 3. От двойных пикселей к карте глубины
Чтобы улучшить этот результат, полезно знать глубину в каждой точке сцены. Для вычисления глубины мы можем использовать стереоалгоритм. У Pixel 2 нет двух камер, но есть технология, называемая пикселями фазового автофокуса (PDAF), иногда называемая двухпиксельной автофокусировкой (DPAF). Это многословно, но идея довольно проста. Если представить, что (крошечный) объектив тыловой камеры телефона разделен на две половины, вид на мир через левую сторону объектива и вид через правую сторону немного отличаются. Эти две точки обзора находятся на расстоянии менее 1 мм друг от друга (примерно диаметр объектива), но они достаточно различны, чтобы вычислить стерео и создать карту глубины. То, как работает оптика камеры, эквивалентно разделению каждого пикселя на чипе датчика изображения на два меньших соседних пикселя и отдельному считыванию их с чипа, как показано здесь:

На задней камере Pixel 2 правая сторона каждого пикселя смотрит на мир через левую сторону объектива, а левая сторона каждого пикселя смотрит на мир через правая сторона объектива. Рисунок Маркуса Кольпайнтнера, воспроизведен с разрешения.

Как показано на диаграмме, пиксели PDAF позволяют просматривать изображения через левую и правую стороны объектива на одном снимке. Или, если вы держите телефон в портретной ориентации, то это верхняя и нижняя половины объектива. Вот как выглядят верхнее и нижнее изображения для нашего примера сцены (ниже). Эти изображения являются монохромными, потому что мы используем только зеленые пиксели нашего датчика с цветовым фильтром Байера в нашем стереоалгоритме, а не красные или синие пиксели. Не можете различить два изображения? Возможно, анимированный gif справа (ниже) поможет. Посмотрите внимательно; разница действительно очень мала!

Виды нашей тестовой сцены через верхнюю половину и нижнюю половину линзы Pixel 2. На анимированной гифке справа обратите внимание, что она стоит почти неподвижно, потому что камера сфокусирована на ней , а фон перемещается вверх и вниз. Объекты перед ней, если бы мы могли их видеть, двигались бы вниз, когда фон поднимался бы (и наоборот).

Технологию PDAF можно найти во многих камерах, включая зеркальные фотокамеры, чтобы помочь им быстрее сфокусироваться при записи видео. В нашем приложении эта технология используется для вычисления карты глубины. В частности, мы используем наши левосторонние и правосторонние изображения (или верхнее и нижнее) в качестве входных данных для стереоалгоритма, аналогичного тому, который используется в системе сшивки панорам Google Jump (называемой Jump Assembler). Этот алгоритм сначала выполняет выравнивание на основе тайлов с субпиксельной точностью для создания карты глубины с низким разрешением, а затем интерполирует ее до высокого разрешения с помощью двустороннего решателя. Это похоже на технологию, ранее использовавшуюся в функции Lens Blur от Google.

Еще одна деталь: поскольку изображения слева и справа, снятые камерой Pixel 2, расположены очень близко друг к другу, информация о глубине, которую мы получаем, является неточной, особенно при слабом освещении, из-за высокого уровня шума на изображениях. Чтобы уменьшить этот шум и повысить точность определения глубины, мы захватываем серию левых и правых изображений, затем выравниваем и усредняем их перед применением нашего стереоалгоритма. Конечно, на этом этапе нам нужно быть осторожными, чтобы избежать неправильных совпадений, как в HDR+, иначе мы получим призраки на нашей карте глубины (но это тема другого поста в блоге). Слева внизу показана карта глубины, сгенерированная из показанного выше примера с использованием нашего стереоалгоритма.

Слева: карта глубины, рассчитанная с использованием стерео из вышеупомянутых изображений верхней половины линзы и нижней половины линзы. Светлее означает ближе к камере. Справа: визуализация степени размытия, которую мы применяем к каждому пикселю в оригинале. Черный означает отсутствие размытия вообще, красный обозначает элементы сцены за плоскостью в фокусе (то есть ее лицо), чем ярче красный, тем больше мы размываем, а синий обозначает детали перед плоскостью в фокусе (выпечка). ).

Шаг 4. Соединяем все вместе для рендеринга окончательного изображения
Последний шаг — комбинируем маску сегментации, которую мы вычислили на шаге 2, с картой глубины, которую мы вычислили на шаге 3, чтобы решить, насколько сильно размыть каждый пиксель в изображении HDR+ из шага 1. То, как мы комбинируем глубину и маску, является немного секретным соусом, но грубая идея заключается в том, что мы хотим, чтобы черты сцены, которые, по нашему мнению, принадлежат человеку (белые части маски), оставались резкие, а объекты, которые, как мы думаем, относятся к фону (черные части маски), должны быть размыты пропорционально тому, насколько они удалены от плоскости в фокусе, где эти расстояния берутся из карты глубины. Красное изображение выше — это визуализация того, насколько сильно нужно размыть каждый пиксель.

На самом деле применение размытия — концептуально самая простая часть; каждый пиксель заменяется полупрозрачным диском того же цвета, но разного размера. Если мы составим все эти диски в порядке глубины, это будет похоже на усреднение, которое мы описали ранее, и мы получим хорошее приближение к реальному оптическому размытию. Одним из преимуществ синтетической расфокусировки является то, что, поскольку мы используем программное обеспечение, мы можем получить идеальное боке в форме диска, не таская с собой несколько фунтов стеклянных объективов камеры. Интересно, что в программном обеспечении нет особой причины придерживаться реализма; мы могли бы придать боке любую форму! Для нашего примера сцены вот окончательный результат портретного режима. Если вы сравните этот результат с самым правым результатом на шаге 2, вы увидите, что выпечка теперь слегка размыта, как и следовало ожидать от зеркальной фотокамеры.

Окончательное синтетическое изображение с малой глубиной резкости, созданное путем объединения нашего изображения HDR+, маски сегментации и карты глубины. Нажмите, чтобы увидеть изображение в полном разрешении.

Способы использования портретного режима
Портретный режим на Pixel 2 запускается за 4 секунды, полностью автоматический (в отличие от режима Lens Blur на предыдущих устройствах
, для которого требовалось специальное движение телефона вверх-вниз). ), и достаточно надежен до
могут использоваться неспециалистами. Вот альбом примеров, в том числе некоторые тяжелые случаи, например, люди с вьющимися волосами, люди, держащие букеты цветов и т. д. Ниже приведен список нескольких способов использования портретного режима на новом Pixel 2.

Съемка макроснимков
Если вы находитесь в портретном режиме и наводите камеру на небольшой объект, а не на человека (например, цветок или еду), то наша нейронная сеть не может найти лицо и не создаст полезную маску сегментации. Другими словами, шаг 2 нашего конвейера не применяется. К счастью, у нас все еще есть карта глубины из данных PDAF (шаг 3), поэтому мы можем вычислить малое изображение глубины резкости, основываясь только на карте глубины. Поскольку базовая линия между левой и правой сторонами объектива очень мала, это хорошо работает только для объектов, которые находятся примерно на расстоянии меньше метра. Но для таких сцен выдает приятные картинки. Вы можете думать об этом как о режиме синтетического макроса. Ниже приведены примеры прямых и портретных снимков объекта макроразмера, а вот альбом с большим количеством макроснимков, в том числе более сложных случаев, таких как фонтан с тонкой проволочной оградой позади него. Просто будьте осторожны, чтобы не подойти слишком близко; Pixel 2 не может резко сфокусироваться на объектах, находящихся ближе, чем на 10 см от камеры.

Макросъемка без (слева) и с (справа) портретным режимом. Здесь нет человека, поэтому пиксели фона определяются исключительно с помощью карты глубины. Фото Марка Левоя

Селфи-камера
Pixel 2 предлагает портретный режим как для фронтальной (селфи), так и для задней камеры. Эта камера 8-мегапиксельная вместо 12-мегапиксельной, и у нее нет пикселей PDAF, что означает, что ее пиксели не разделены на левую и правую половины. В этом случае шаг 3 нашего конвейера неприменим, но если мы сможем найти лицо, мы все равно сможем использовать нашу нейронную сеть (шаг 2) для создания маски сегментации. Это позволяет нам по-прежнему генерировать изображение с малой глубиной резкости, но, поскольку мы не знаем, как далеко находятся объекты, мы не можем изменять степень размытия в зависимости от глубины. Тем не менее, эффект выглядит довольно хорошо, особенно для селфи, снятых на загроможденном фоне, где размытие помогает подавить беспорядок. Вот примеры селфи в прямом и портретном режиме, сделанные с помощью селфи-камеры Pixel 2:

Селфи без (слева) и с (справа) портретным режимом. Во фронтальной камере отсутствуют пиксели PDAF, поэтому фоновые пиксели идентифицируются только с помощью машинного обучения. Фото Марка Левоя

Как получить максимальную отдачу от портретного режима
Портреты, созданные Pixel 2, зависят от основного изображения HDR+, маски сегментации и карты глубины; проблемы с этими входными данными могут привести к артефактам в результате. Например, если объект переэкспонирован на изображении HDR+ (засветлен до белого), то маловероятно, что изображения в левой и правой половине будут содержать полезную информацию, что приведет к ошибкам в карте глубины. Что может пойти не так с сегментацией? Это нейронная сеть, которая была обучена на почти миллионе изображений, но мы держим пари, что она никогда не видела фотографии человека, целующего крокодила, поэтому она, вероятно, пропустит крокодила из маски, что приведет к ее размытию. Как насчет карты глубины? Наш стереоалгоритм может дать сбой на объектах без текстур (например, на пустых стенах), потому что нет объектов, за которые мог бы зацепиться стереоалгоритм, или на повторяющихся текстурах (например, на клетчатых рубашках), или на горизонтальных или вертикальных линиях, потому что алгоритм стерео может сопоставить неправильную часть изображения. изображение, таким образом триангулируя, чтобы получить неправильную глубину.

Хотя любая сложная технология требует компромиссов, вот несколько советов по созданию великолепных снимков в портретном режиме:

• Встаньте достаточно близко к объектам, чтобы их голова (или голова и плечи) заполняли кадр.
• Для группового снимка, когда вы хотите, чтобы все были резкими, поместите их на одинаковом расстоянии от камеры.
• Для более приятного размытия увеличьте расстояние между объектами и фоном.
• Удалите темные солнцезащитные очки, мягкие шляпы, гигантские шарфы и крокодилов.
• При макросъемке коснитесь, чтобы сфокусироваться, чтобы объект, который вам нужен, оставался четким.

Кстати, вы заметите, что в портретном режиме камера немного приближается (в 1,5 раза для основной камеры и в 1,2 раза для селфи-камеры). Это сделано намеренно, потому что более узкие поля зрения заставляют вас отойти дальше, что, в свою очередь, уменьшает искажение перспективы,
приводя к более качественным портретам.

Не пора ли отложить зеркалку (навсегда)?
Когда мы начали работать в Google 5 лет назад, количество пикселей в изображении мобильного телефона не было
догнал SLR, но этого было достаточно для нужд большинства людей. Даже на большом экране домашнего компьютера
нельзя было разглядеть отдельные пиксели на снимках, снятых на мобильный телефон.
Тем не менее, камеры мобильных телефонов не были такими мощными, как зеркальные фотокамеры, по четырем причинам:

1. Динамический диапазон в ярких сценах (затянутое небо)
2. Отношение сигнал/шум (SNR) при слабом освещении (зашумленные изображения, потеря деталей)
3. Зум (для съемки дикой природы)
4. Малая глубина резкости

Google HDR+ и аналогичные технологии наших конкурентов добились больших успехов на первом и втором местах. На самом деле, при плохом освещении мы часто убираем наши зеркальные фотокамеры, потому что мы можем получить лучшее изображение с телефона без мучительного брекетинга и постобработки. Для зума помогают скромные телеобъективы, добавляемые к некоторым смартфонам (обычно 2-кратные), но для этого медведя гризли в русле реки нет замены 400-мм объективу (к тому же гораздо безопаснее!). Для малой глубины резкости синтетическая расфокусировка — это не то же самое, что реальная оптическая расфокусировка, но визуальный эффект достаточно похож для достижения той же цели — направления вашего внимания на главный объект.

Исчезнут ли зеркальные фотокамеры (или их беззеркальные собратья со сменными объективами (MIL)) с большими сенсорами и большими объективами? Сомнительно, но они займут меньшую нишу на рынке. Мы оба путешествуем с большой камерой и Pixel 2. В начале наших поездок мы покорно достаем наши зеркальные фотокамеры, но к концу они в основном остаются в нашем багаже. Добро пожаловать в новый мир программно-определяемых камер и вычислительной фотографии!

Чтобы узнать больше о портретном режиме на Pixel 2, посмотрите это видео от Nat & Friends.
Вот еще один альбом фотографий (портретных и нет) и видео, снятых Pixel 2.

Первые неотредактированные фотографии и видео Google Pixel 2 выглядят совершенно потрясающе [Галерея]

Как и в случае с оригиналом, Google делает довольно громкие заявления относительно новой камеры Pixel 2. В этом году 12-мегапиксельный датчик имеет меньшую апертуру и включает OIS, но программное обеспечение Google — это то, что сделает или сломает его. Теперь мы получаем первый взгляд на снимки, на которые способен этот телефон, и они потрясающе великолепны.

Галерея снимков от сотрудника Google, размещенная в Интернете в эти выходные, дает нам около 40 фотографий и видео с новой камеры Pixel в различных настройках и условиях освещения. Очевидно, что поскольку Google пытается раскрутить эту камеру, все они выглядят потрясающе, но здесь есть некоторые действительно интересные вещи.

Во-первых, эти снимки явно были сделаны во время тестирования телефона, а некоторые снимки были сделаны еще в конце июля. Сказать, что Google уже какое-то время работает над этой камерой, было бы преуменьшением, но у них явно были проблемы с качеством изображений.

Со стандартными снимками все выглядит отлично. Детали четкие, цифровой шум сведен к минимуму даже при слабом освещении, а динамический диапазон фантастический. Однако, что меня действительно впечатляет в этой галерее, так это фотографии в портретном режиме. Обычно я не фанат этого эффекта, который мы видели на нескольких устройствах с двумя камерами, но это в основном потому, что он очень плохо сделан. Однако на Pixel 2 это выглядит невероятно благодаря мощному программному обеспечению Google. Результаты не совсем идеальны, но они сразу выглядят так же хорошо, если не намного лучше, чем у конкурентов.

Наряду с этим, некоторые из снимков здесь используют новую функцию телефона «Движение», аналогичную живым фотографиям Apple.

Наконец, есть видео, и впечатляет, что стабилизация Google стала еще лучше с прошлого года. В галерее мы можем увидеть два параллельных сравнения стабилизированных и нестабилизированных кадров, и результаты довольно потрясающие. В частности, на одном видео (показанном в формате GIF ниже) показано, как кто-то бежит по песчаной дюне, при этом стабилизированный кадр едва движется, а нестабилизированный кадр затрудняет фактическое отслеживание объекта, не чувствуя легкой тошноты.