Гибрид фотоплёнки и CCD/CMOS матрицы невозможен? Попробуйте сказать это Foveon X3! / Хабр
Лирическое отступление.
Попался на глаза один интересный сайт — www.foveon.com На нём размещалась информация о том, что компания Foveon занимается разработкой трехматричных систем ( именуемых ещё 3CCD ) для цифровых фотоаппаратов Sigma компании Sigma Corporation. Был весьма удивлён, как технологией в целом, так и тем, что на Хабрахабре до сих пор небыло никаких упоминаний этой замечательной разработки. Вся информация взята на сайте www.foveon.com
Датчики Изображения
Foveon X3 является самым высокотехнологичным и продвинутым цветным датчиком прямой регистрации изображения, который когда-либо разрабатывался. Его разработка позволила совершить гигантский прыжок в цифровой фотографии, т.к. датчик Foveon X3 совмещает в себе преимущества как цифровых фотодатчиков, так и принципы сохранения изображения обычной фотоплёнки.
Прямой датчик изображения Foveon X3 — датчик изображения, который может захватывать одновременно и красный, и зеленый, и синий свет в одной и той же самой точке за время одной экспозиции. Во время работы над датчиками Foveon X3 было проведено много исследований в области получения изображений с помощью CCD/CMOS датчиков и принципов получения изображений с помощью обычной фотоплёнки.
На первом рисунке приведён принцип получения изображения на плёнке. (Суть в том, что на фотоплёнке регистрация красных, синих и зелёных лучей происходит на различной глубине, за счёт того, что после преломления света линзой лучи синей части спектра будут фокусироваться ближе к поверхности плёнки, чем лучи красной части спектра. Тоесть красные лучи попадают немного глубже в толщу плёнки, в то время как синие лучи фокусируются практически у самой поверхности. Этот разброс составляет около 5 мкм)
На втором снимке представлена наглядная схема работы обычной CCD/CMOS Матрицы.
(Нарисовано прохождение лучей через Фильтр Байера)
На последнем снимке предоставлена матрица Foveon X3, и наглядно проиллюстрировано, каким образом она совмещает в себе принципы работы CCD/CMOS матрицы и фотоплёнки.
Пленка.
Больше 100 лет цветная пленка была золотым стандартом фотографии. Именно фотоплёнка позволяет получить естественные тёплые тона, невероятную детализацию и цветопередачу, к которой мы так давно привыкли. Фотопленка позволяет получить такой результат благодаря наличию трёхслойной структуры (три слоя фотоэмульсии, каждая из которых чувствительна к конкретной части спектра, синей, зелёной или красной), чтобы наиболее полно зафиксировать все оттенки цвета в любой точке изображения.
CCD матрица.
CCD матрица была разработана приблизительно 30 лет назад, но даже на пике своего развития всё равно не даёт возможности получить настолько же красочное и детализированное изображение, что и на фотоплёнке.
Это происходит ввиду того, что в один момент времени цифровые датчики изображения CCD/CMOS способны зарегистрировать только одни цвет в одной точке пространства.
Foveon X3
Разработчики датчика Foveon X3 объединили лучшее из того, что было в принципах регистрации изображения плёнкой и CCD/CMOS матрицей. В итоге получился трех уровневый датчик Foveon X3 По структуре он подобен фотопленке (содержит три слоя, каждый для регистрации лучей своей части спектра ), но вместо светочувствительной эмульсии в каждом слое из трёх датчик Foveon X3
имеет матрицу пикселей, которые регистрируют свою часть спектра. Слои с пикселями расположены таким образом, чтобы использовать тот факт, что красный, зеленый, и синий свет фокусируются в кремниевой матрице на различной глубине, что позволяет создать один датчик чувствительный ко всем трём частям спектра в одной и той же точке матрицы. Это позволило получить цифровую матрицу, которая способна зарегистрировать изображение такого же качества и такой же детализации, как это могла бы сделать фотоплёнка.
Сравнение расположения пикселей в обычном CCD/CMOS датчике и в датчике
Foveon X3До изобретения Foveon X3 соотношение между количеством пикселей и числом их местоположения было 1:1 для традиционного CCD датчика изображения CMOS. Учитывая эти отношения, общее обозначение «пиксель» обычно использовалось, чтобы сослаться и на пиксель (фотодатчик) и на его местоположение в матрице.
Чем лучше трёхматричная система?
Чем же так хороша трехматричная система Foveon X3? А хороша она тем, что для регистрации одного и того же количества света используется в три раза большая площадь. Ведь матрица Foveon X3 по сути состоит из трех отдельных матриц расположенных поверх друг-друга:
- Синей — толщина 0.2 мкм от поверхности;
- Зелёной — толщина 0.4 мкм;
- Красной — глубина залегания в толще кристалла более 2 мкм;
Позволю себе воспользоваться услугами Википедии по этому вопросу —
Толщина каждого слоя выбрана по результатам экспериментальных исследований по глубине проникновения квантов соответствующего спектрального диапазона в кремний. Слои, в которых происходит фотоэффект, разделены дополнительными тонкими зонами низколегированного кремния и имеют отдельные выводы сигнала.
Благодаря малой (менее 5 мкм) толщине сенсора, возможное влияния хроматических аберраций на изображение минимально. Однако, как и в других разновидностях матриц, поглощение красной части спектра происходит на максимальной глубине. В результате паразитной диффузии фотоэлектронов и засветки косыми лучами в области максимальных длин волн происходит дополнительное размытие изображения. В частности, этот же эффект затрудняет дальнейшее (по сравнению с нынешними матрицами) уменьшение размера элемента и повышение разрешения.
Если рассмотреть обычную CCD/CMOS то, зная, что пиксели в ней расположены только в один слой и один пиксель сможет содержать информацию только об одном участке спектра можем дойти до того, что на зелёный цвет приходится 50 % пикселей (наибольшая чувствительность человеческого глаза приходится на зелёную часть спектра, поэтому зелёных пикселей в 2 раза больше), а на синий и красный приходится по 25 процентов от общего числа пикселей. Получается, что мало того, что у обычной CCD/CMOS матрицы суммарная площадь всех пикселей меньше на две трети, так еще и количество пикселей отдельного цвета ещё меньше, по отношению к общей площади матрицы.
Пошаговое сравнение матриц CCD/CMOS и Foveon X3
Перед вами два изображения:
с обычной камеры с CCD матрицей и сделанное камерой с матрицей Foveon X3
На изображениях отмечены участки, по которым мы будем сравнивать качество работы обеих матриц.
Резкость
CCD/CMOS матрица Foveon X3 матрица
Детализация цветных объектов
CCD/CMOS матрица Foveon X3 матрица
Наличие артефактов
CCD/CMOS матрица Foveon X3 матрица
Интерактивная демонстрация отличий матриц CCD/CMOS от Foveon X3 .
Переменный размер пикселя VPS (Variable Pixel Size)
Foveon X3 обладает ещё одной интересной особенностью – она способна менять размер пикселя (в дальнейшем эту технологию будем называть VPS). Технология VPS открывает новые горизонты возможностей видеокамерам и фотоаппаратам, в которые они установлены.
Уникальность технологии заключается в том, что матрица может менять своё разрешение путём объединения сигналов от нескольких пикселей в один, что позволяет воспринимать группу пикселей, как один большой пиксель.
Например: датчик 2300 х 1500 пикселей содержит примерно 3,4 миллиона пикселей. Если объединить все пиксели группами 4 х 4 пикселя по технологии VPS, то в итоге мы бы получили матрицу 575 х 375 пикселей, но каждый из них был бы крупнее номинального пикселя в 16 раз. Что позволило бы существенно увеличить количество света, получаемое одним пикселем, и неизбежно привело бы к увеличению чувствительности матрицы
Наиболее распространённые возможные конфигурации групп пикселей:
- 2 х 2 пикселя
- 4 х 4 пикселя
- 1 х 2 пикселя
Управление группами пикселей происходит через сложную схему, интегрированную в Foveon X3
Поскольку Foveon X3 фиксируют всю часть видимого диапазона в каждом местоположении пикселя, пиксели в объединённых группах представляют собой полноцветные «пиксели высшего качества».
Интерактивноая демонстрация технологии VPS
Группирование пикселей увеличивает соотношение «Полезный сигнал / Шум», позволяя делать полноцветные снимки при слабом освещении с минимальными цветовыми искажениями. Благодаря технологии VPS стало возможным увеличивать пиксели, уменьшая их общее количество и разрешающую способность, но зато получить возможность более быстро обрабатывать кадры видео изображения, тем самым, повышая скорость съёмки видеоматериала.
Это позволяет снимать более высококачественное цифровое видео, что позволяет, в свою очередь, использовать в одном устройстве две функции – видео съёмки и фото съёмки. Благодаря тому, что перегруппирование пикселей по технологии VPS в матрицах Foveon X3 происходит мгновенно, появилась возможность делать мгновенные фотографии прямо в режиме видеосъёмки без потери качества работы обоих режимов.
Foveon X3 Работа с «окнами»
к. технология позволяет иметь прямой доступ к любой прямоугольной области массива пикселей.Датчикам CCD, такая технология невозможна. т.к. изначально технология CCD не поддерживает обращение к отдельным пикселям или группам пикселей. В лучшем случае они предлагают ограниченный фиксированный набор возможных вариантов обрезки готового изображения. С Foveon X3 производители цифровых камер ничем не ограничены, что позволяет использовать фотоаппарат для получения нового изображения путём вырезания из готовой фотографии любой прямоугольной области и сохранения её в отдельный файл. Это позволяет дать гораздо больше свободы конечному пользователю при работе с камерой с матрицей Foveon X3
.Главная особенность Foveon X3 — при изменении размера изображений — отсутствие артефактов, т.к. каждый пиксель хранит полную информацию о цвете, в отличие от матриц CCD, в которых один пиксель может хранить информацию только об одном цвете.
Благодаря технологии VPS экспозамер теперь может быть проведён более точно в условиях любой освещённости, т.
к. матрица на время проведения замера экспозиции переходит в режим увеличения пикселей, что приводит к существенному увеличению чувствительности. Эта же функция позволяет произвести более быструю фокусировку, моногозональный замер экспозиции и многие другие вещи, недоступные фотоаппаратам с обычными CCD матрицами.
X3 Fill Light — функция коррекции освещения.
Первая фотография — оригинал изображения, второе — изображение после коррекции освещения по технологии X3 Fill Light.
Если фотография была недоэкспонирована (по какой-то причине), то исправить ситуацию поможет функция X3 Fill Light. Программное обеспечение X3 Fill Light работает по принципу модуляции естественных условий для нормальной экспозиции. Тоесть происходит добавление искуственно высветленных составляющих при сохранении тех же самых соотношений яркости и конраста основного массива изображения.
Технология X3 Fill Light позволяет избежать возникновения неравномерно выбеленных участков, досконально корректируя параметры каждого пикселя относительно окружающих его других пикселей. Для работы с изображениями процессор Foveon X3 формирует файл формата X3F, который затем обрабатывается ПО X3 Fill Light на персональном компьютере.
В итоге, если фотография была снята ошибочно на маленькой выдержке, или за счёт яркого фонового освещения получилась темнее, чем хотелось — всегда есть возможность исправить ошибку с помощью функции X3 Fill Light и в дальнейшем наслаждаться качественными снимками.
Спасибо за внимание!
CCD матрицы и их особенности
CCD-матрица (charge-coupled device, ПЗС — прибор с обратной зарядной связью) – один из видов матриц, применяемых в современном видеонаблюдении. Тесно конкурирует с CMOS-аналогами. В состав элемента входит поликремний, искусственно отделенных от кремниевой подложки.
При возрастания напряжения происходит увеличение электрических потенциалов, считываемых диодами.
Работа системы в общем виде происходит следующим образом:
-
До начала съемки все элементы находятся в одинаковом состоянии. Отсутствует разброс в параметрах напряженности;
-
После начала экспонирования происходит накопление электронов, появившихся после попадания светового луча на конкретный участок. От силы света зависит, насколько высоким будет итоговое напряжение;
-
Определяется итоговое напряжение на каждом электроде. Исходя из него и других параметров можно судить о силе света. При расшифровке сигнала будет определен и цвет объекта, попавшего в кадр.
Технология применяется не один год и встречается в видеокамерах различного ценового сегмента.
Преимущества матрицы CCD
Положительные особенности ПЗС-технологии:
· Малое количество шумов;
· Высокая светочувствительность.
Улавливаются практически все фотоны, поступившие на матрицу;
· Чувствительны к инфракрасному спектру;
· Отсутствует эффект «rolling shutter» — движущиеся объекты снимаются без искажений.
Применить камеру на базе элемента данного типа можно для слабо освещенных территорий, высоких требованиях к качеству.
Недостатки
Существуют особенности, ограничивающие сферу применения CCD матриц:
· Высокая стоимость, связанная с большими затратами при производстве;
· Считается менее надежной, чем CMOS, поскольку структура самой матрицы является более сложной – значит, подверженной поломкам;
· Повышенное потребление электроэнергии.
С развитием техники надежность и функциональность элементов возрастает, поэтому они все еще остаются альтернативой, о которой следует помнить.
Классификация
В зависимости от сферы применения, требований к параметрам, CCD бывают:
-
Различающимися по светочувствительности;
-
Имеющими полнокадровую матрицу.
Сенсор считается одним из простейших;
-
С буферизацией столбцов – заряды считываются по направлению сверху вниз;
-
С буферизацией кадра – увеличивается число кадров в секунду;
-
С ортогональным переносом изображения, снижающим потери от вибраций, помех;
-
Отличающимися по размеру. В характеристиках к камере он указывается в дюймах.
Сенсор считается одним из простейших;
Матрица применяется в охранном видеонаблюдении. При правильном выборе удастся вести качественную съемку при плохой освещенности, наблюдении за быстро перемещающимися объектами.
Назад к списку
типов датчиков CCD | STEMMER IMAGING
Во время фазы интеграции (время экспозиции) все электроны, высвобождаемые падающим светом на границе раздела полупроводник-оксид, накапливаются в потенциальной яме.
Накопленная мощность пропорциональна количеству падающего света и времени экспозиции. Затем считывается емкость на пиксель в соответствии с несколькими методами считывания с датчиков, которые описаны ниже:
В дополнение к светочувствительным пикселям межстрочный перенос (ILT) 9Датчики 0006 включают регистры сдвига по вертикали. Вместо того, чтобы перемещать заряд через светочувствительные пиксели, он перемещается в экранированный сдвиговый регистр, расположенный рядом с каждой строкой пикселей. Заряд перемещается в регистры сдвига по вертикали за один шаг до достижения регистра считывания по горизонтали и тактирования в выходной усилитель, пиксель за пикселем. Снижение коэффициента заполнения, вызванное наличием сдвиговых регистров, может быть компенсировано микролинзами для повышения чувствительности. Хотя полная емкость ямы меньше по сравнению с другими архитектурами ПЗС, размеры ям 30-50 кэВ обычно доступны на ПЗС-матрицах Sony и ON Semiconductor, что достаточно для 8-10-битной оцифровки.
ПЗС-матрицы ILT являются наиболее распространенным типом датчиков для современных камер технического зрения.
одношаговый сдвиг в регистр считывания позволяет сократить время экспозиции и подходит для быстро движущихся изображений. Ожидается, что в течение следующих нескольких лет в большинстве приложений, в которых использовались бы встроенные ПЗС-матрицы, будут использоваться датчики CMOS.
» >
Полнокадровая ПЗС-матрица не имеет регистров вертикального сдвига, поэтому заряд пикселя должен быть сдвинут через соседний пиксель структуры в регистр сдвига по горизонтали. Для этого требуется механическое затвор, чтобы избежать смазывания.
Датчик передачи кадров использует тот же метод передачи
заряжать через пиксели, но он может делать это намного быстрее, чем
заряд предназначен для экранированной области считывания рядом с активной областью, где в
так же, как и полнокадровое устройство.
Это компромисс между
другие типы ПЗС.
» >
Как кадровая, так и полнокадровая архитектура часто достигают 100% коэффициента заполнения при большой емкости полной лунки, что обеспечивает широкий динамический диапазон. Оба типа датчиков часто используют большие пиксели с размерами 12 или 14 мкм, что приводит к лучшей динамике и более высокой чувствительности, и часто используются в научных и профессиональных приложениях для фотосъемки, где скорость менее важна, чем динамический диапазон и чрезвычайно низкий уровень шума.
Подробнее:
- Будущее ПЗС-датчиков изображения: мы видим конец эпохи?
- Датчики CMOS
- Компенсация недостатков
- Камеры
Что такое ПЗС-детектор?
A CCD или Устройство с зарядовой связью представляет собой высокочувствительный детектор фотонов.
Он разделен на большое количество светочувствительных небольших областей, известных как пиксели, которые можно использовать для создания изображения интересующей области.
ПЗС — многоканальный матричный детектор УФ, видимого и ближнего инфракрасного диапазона на основе кремния. Они используются для спектроскопии, так как они чрезвычайно чувствительны к свету. Это делает эти детекторы подходящими для анализа изначально слабого рамановского сигнала. Он также позволяет работать в многоканальном режиме, что означает, что весь спектр может быть обнаружен за один раз.
ПЗС широко используются помимо датчиков в цифровых камерах. Версии, которые используются для научной спектроскопии, имеют значительно более высокий класс, чтобы обеспечить наилучшие характеристики чувствительности, однородности и шума.
ПЗС-детекторы обычно являются одномерными, называемыми линейными, или двумерными, называемыми массивами площадей из тысяч или миллионов отдельных детекторных элементов. Эти элементы известны как пиксели.
Каждый элемент взаимодействует со светом, создавая заряд. Чем ярче свет и/или дольше взаимодействие, тем больше регистрируется заряд. В конце измерения электроника считывания снимает заряд с элементов, и измеряется каждое отдельное показание заряда.
В типичном рамановском спектрометре рамановский рассеянный свет рассеивается с помощью дифракционной решетки. Этот рассеянный свет проецируется на длинную ось матрицы ПЗС. Первый элемент будет обнаруживать свет от нижнего края спектра -1 см. Второй элемент будет обнаруживать свет из следующей спектральной позиции и так далее. Последний элемент будет обнаруживать свет от верхнего края спектра -1 см.
ПЗС требуют некоторой степени охлаждения, чтобы сделать их пригодными для высококачественной спектроскопии. Обычно это делается с помощью охлаждения Пельтье, которое подходит для температур до -90 o C и криогенное охлаждение жидким азотом. В большинстве рамановских систем используются детекторы с охлаждением на элементах Пельтье, но детекторы с охлаждением жидким азотом по-прежнему имеют преимущества для некоторых специализированных приложений.
Что такое ПЗС-детектор
Электронно-множительное устройство с зарядовой связью (EMCCD) — это датчик изображения. Он способен обнаруживать одиночные фотонные события без усилителя изображения, используя уникальную структуру умножения электронов, встроенную в чип.
Камеры EMCCDразработаны для преодоления фундаментальных физических ограничений и обеспечения высокой чувствительности при высокой скорости. Традиционные ПЗС-камеры предлагали высокую чувствительность с низким уровнем шума при считывании, но за счет медленного считывания. Их часто называли камерами с «медленным сканированием».
EMCCD преодолел это, усилив сигнал. Это означает, что шум считывания эффективно обходится и больше не является ограничением чувствительности.
Что отличает технологию EMCCD, так это добавление специализированного расширенного последовательного регистра на микросхему CCD. Он обеспечивает усиление за счет процесса ударной ионизации кремния.
Когда фотонов мало, сигнал, достигающий устройства обработки изображений, может быть достаточно слабым, чтобы смешаться с фоновым шумом.