Матрица в видеокамере: Матрица — что это такое?

. Геометрия камеры и модель обскуры | by Ms Aerin

Геометрия камеры и модель обскуры

Калибровка камеры или резекция камеры оценивает параметры модели камеры обскуры данной фотографии. Обычно параметры камеры-обскуры представляются в виде матрицы 3 × 4, называемой матрицей камеры. Мы используем эти параметры, чтобы оценить реальный размер объекта или определить местоположение камеры в мире .

Прежде чем мы поговорим о калибровке камеры, сначала вам нужно понять, как работает камера-обскура.

Зачем мне знать о камере-обскуре?

Потому что это суть работы любой камеры. Модель камеры-обскуры объясняет взаимосвязь между точкой в ​​мире и проекцией на плоскость изображения (датчиком изображения).

Как мы проецируем точки мира на датчик камеры?

Если мы используем широко открытый датчик камеры, мы получим размытые изображения, потому что датчик изображения собирает световые лучи из нескольких точек на объекте в одном и том же месте на датчике.

Решение этой проблемы состоит в том, чтобы поставить барьер перед датчиком изображения с крошечным отверстием.

Барьер пропускает через отверстие только ограниченное количество световых лучей и снижает размытость изображения.

[Пример] Реальное изображение с разными размерами апертуры

1. Фокусное расстояние : расстояние между отверстием и плоскостью изображения

Влияет на размер проецируемого изображения . Влияет на камеру фокус при использовании объективов.

2. Центр камеры: Координаты центра обскуры .

Модель камеры-обскуры очень проста. Зная фокусное расстояние и центр камеры, мы можем математически рассчитать место, где луч света, отраженный от объекта, попадет на плоскость изображения.

Фокусное расстояние и центр камеры — внутренние параметры камеры , K . ( K является отраслевой нормой для выражения внутренней матрицы.)

(также известные как матрица камеры.)

(C x, Cy) : центр камеры в пикселях.
( fx , fy ): Фокусное расстояние в пикселях.

fx = F / пикселей
fy = F / py

F : Фокусное расстояние в мировых единицах (например, в миллиметрах) .

s : Коэффициент перекоса, который отличен от нуля, если оси изображения не перпендикулярны.
s = fx tan( α)

Зачем нам это?

Для того, чтобы спроецировать точку в мировом кадре на плоскость изображения камеры!

Что делать?

(Если мы говорим о беспилотных автомобилях) Для локализации беспилотных автомобилей!

Свет (отраженный от объекта) проходит из мира через апертуру камеры (отверстие) на поверхность сенсора. Проекция на поверхность сенсора через апертуру приводит к перевернутому изображению. Чтобы избежать путаницы с переворачиванием, мы определяем плоскость виртуального изображения (желтая плоскость) перед центром камеры.

 # Мировая система координат 
  Oworld = [Xw, Yw, Zw]  # Система координат камеры 
  Ocamera = [Xc, Yc, Zc]  # Система координат пикселей 
  Oimage = [u,v]  

We определите матрицу вращения 3 на 3 ( R ) и вектор переноса 3 на 1 ( t ) для моделирования ЛЮБОГО преобразования между мировой системой координат и другой.

Теперь мы можем сформулировать задачу проекции (Мировые координаты → Координаты изображения) как

1. Мировые координаты → Координаты камеры
2. Координаты камеры → Координата изображения

  Oworld [Xw,Yw,Zw]  →  Oimage [u,v] ? с помощью линейной алгебры!  
  1.  Мировые координаты  → Координаты камеры  Ocamera = [R|t] * Oworld  2. Координаты камеры →  Координата изображения   Oimage = K * Ocamera  Напомните мне, что  K  (внутренний параметр камеры) был ? 
 внутренние параметры, K: f для фокусного расстояния, c для центра камеры, которые являются специфическими параметрами камеры 
 Оба шага 1 и 2 являются просто матричным умножением. Поэтому его можно переписать (объединить) как:
  Oimage = P * Oworld = K[R|t] * Oworld   Пусть P = K[R|t] 
 P  как проекция 
 Подождите,  K  - (3,3) матрица.  [R|t]  равно (3,4). (| означает, что вы объединяете матрицу  R  с вектором  t  .)  Oworld [Xw,Yw,Zw]  равно (3,1).
 Тогда нельзя умножать  K[R|t] (3,4)  на  Oworld [Xw,Yw,Zw] (3,1)  !
 😎 Мы можем решить эту проблему, добавив единицу в конце вектора Oworld  [Xw,Yw,Zw,1], называемого однородной координатой (или проективной координатой)  .
 Если вы хотите дополнительно преобразовать координаты изображения в координаты пикселей: Разделите x и y на z, чтобы получить однородные координаты в плоскости изображения.
  [x, y, z] -> [u, v, 1] = 1/z * [x, y, z]  
 Вот оно. Это ядро.  Этот простой принцип проецирования будет использоваться в каждом алгоритме визуального восприятия 3D, от обнаружения объекта до реконструкции 3D-сцены. 
 В реальной жизни будут более сложные сценарии, например. неквадратные пиксели, перекос доступа к камере, дисторсия, неединичное соотношение сторон и т. д. Однако  изменяют только матрицу камеры K  , а уравнения останутся прежними.
 Несколько замечаний:
 а) 9 матрица вращения  (  R  ) и вектор перемещения   (  t  ) называются  внешними   параметрами , поскольку они являются «внешними» по отношению к камере.
 Вектор перевода   t   можно интерпретировать как положение начала координат  в координатах камеры  , а столбцы матрицы вращения   R   представляют направления мировых осей  в координатах камеры  . Это может быть немного запутанным для интерпретации, потому что мы привыкли думать в терминах мировых координат.
 b) Обычно для восприятия в беспилотных транспортных средствах используется несколько датчиков (например, камера, лидар, радар и т. д.).   Каждый датчик имеет собственные внешние параметры, определяющие преобразование кадра датчика в кадр автомобиля.
 c)   Координата изображения (плоскость виртуального изображения)  [u, v]  начинается с верхнего левого угла плоскости виртуального изображения. Вот почему мы подгоняем расположение пикселей к системе координат изображения.
 Взгляните на функцию  project_ego_to_image  . Он вызывает две функции подряд, сначала  project_ego_to_cam , затем  project_cam_to_image , точно так же, как мы преобразовали мировую координату в координату изображения, разбив ее на 2 шага:  Мировые координаты  → Координаты камеры, затем Координаты камеры →  Координата изображения  .
  cart2hom  преобразует декартовы координаты в гомогенные координаты.
 Приведенный выше фрагмент кода взят из argoverse-api.
 Home 
 Общедоступные наборы данных для исследования беспилотных автомобилей редко содержат подробные картографические данные, хотя подробные карты… 
 www.argoverse.org
 проекция облака точек из мира на плоскость изображения) совпадает с результатом argoverse API.
 Код: https://github.com/aerinkim/TowardsDataScience/blob/master/Camera%20Calibration%20Argoverse.ipynb
 Внешняя матрица камеры с примером на Python | by Neeraj Krishna 
 Часть 2 обширной серии руководств по формированию изображения и калибровке камеры в Python 
 В предыдущей статье я представил идею формирования изображения камерой и кратко обсудил внешние и внутренние функции камеры.
 В этой статье мы подробно рассмотрим внешние особенности камеры, также называемые позой камеры, и закрепим наше понимание практическим примером на Python.
 Камера может быть расположена в любой точке мира и направлена ​​в любом направлении. Мы хотим видеть объекты в мире с точки зрения камеры, и это преобразование из мировой системы координат в систему координат камеры называется внешними параметрами камеры или позой камеры.
 Система координат слова против системы координат камеры
 Итак, как мы можем найти позу камеры? Как только мы выясним, как трансформируется камера, мы сможем найти изменение базисного преобразования из мировой системы координат в систему координат камеры. Мы подробно рассмотрим эту идею.
 В частности, нам нужно знать, как камера ориентирована и где она расположена в мировом пространстве, и есть два преобразования, которые нам помогут:
 Преобразование вращения, которое помогает сориентировать камеру.
 Преобразование перевода, помогающее перемещать камеру.
 Рассмотрим подробно каждый из них.
 Изменение координат поворотом 
 Рассмотрим преобразование, которое поворачивает точку на угол. Давайте возьмем простой пример в ℝ², где мы поворачиваем точку 𝑃 на угол 𝜃 в плоскости XY вокруг начала координат, чтобы получить точку 𝑃′, как показано на рисунке ниже:
 преобразование вращения.
 Координаты 𝑃 равны (𝑥,𝑦), а координаты 𝑃′ равны (𝑥′,𝑦′). Нам нужно найти (𝑥′,𝑦′).
 Из рисунка 
 sinα = y/r , cosα = x/r − [1] 
 ⟹ xsinα = ycosα − [2] 
 также x′ = rcos(θ+α) 
 ⟹ x′ = (x /cosα) ∗ cos(θ+α) (из [1]) 
 но, cos(θ+α) = cosθcosα − sinθsinα 
 ⟹ x′ = (x/cosα) ∗ (cosθcosα − sinθsinα) 
 ⟹ x′ = xcosθ − xsinα ∗ (sinθ / cosα) 
 ⟹ x′ = xcosθ − ycosα ∗ (sinθ / cosα) (из [2]) 
 ⟹ x′ = xcosθ − ysinθАналогично, 
 y′ = rsin(θ+α) 
 ⟹ y′ = (y/sinα) ∗ sin(θ+α) (из [1]) 
 но, sin(θ+α) = sinθcosα + cosθsinα 
 ⟹ y′ = (y/sinα) ∗ (sinθcosα + cosθsinα) 
 ⟹ y′ = ycosθ + ycosα ∗ (sinθ / sinα) 
 ⟹ y′ = ycosθ + xsinα ∗ (sinθ / sinα) (из [2]) 
 ⟹ y′ = ycosθ + xsinθ 
 ⟹ y′ = xsinθ + ycosθОтсюда имеем, 
 x′ = xcosθ − ysinθ 
 y′ = xsinθ + ycosθ 
 Вращение является линейной операцией, и приведенные выше уравнения могут быть представлены как умножение матриц:
 координаты повернутой точки 𝑃′
 Эта операция является линейным преобразованием. Здесь мы трансформируем точки, сохраняя оси или основание фиксированными.
 Расширение до R3 
 Мы можем легко расширить преобразование вращения до 𝐑³. Матрицы преобразования для вращения в 𝐑³ вокруг стандартной оси X, оси Y и оси Z следующие:
 Вращение вокруг оси ZВращение вокруг оси XВращение вокруг оси Y
 Внутреннее вращение против внешнего вращения 
 Вышеупомянутое трансформации выполняют вращение вокруг стандартных осей. Оси будут зафиксированы в любое время. Это называется внешней ротацией. Существует еще один тип вращения, называемый внутренним вращением, когда мы вращаем объект вокруг его относительных осей на каждом шаге, как показано ниже:0005 Внутреннее вращение. Euler2.gif: Работа с производными Хуансемпера: Xavax, CC BY-SA 3.0 , через Wikimedia Commons
 Внутреннее вращение трудно выполнить с помощью евклидовой алгебры, и мы придерживаться внешней ротации.
 Изменение базиса вращением 
 Целью преобразования изменения базиса является нахождение координат точки относительно нового базиса. Точка будет исправлена.
 В приведенном ниже примере оси 𝑋𝑌 были повернуты на угол 𝜃, чтобы получить 𝑋′𝑌′. Учитывая координаты точки 𝑃 относительно старого базиса 𝑋𝑌, наша цель — найти координаты 𝑃 относительно нового базиса 𝑋′𝑌′.
 Вращение осей XY
 Координаты точки 𝑃 относительно 𝑋𝑌 равны (𝑥, 𝑦), а относительно 𝑋′𝑌′ равны (𝑥′, 𝑦′). Наша цель — найти (𝑥′, 𝑦′).
 Из рисунка 
 sinα = y′/r , cosα = x′/r − [1] 
 ⟹ x′sinα = y′cosα − [2] 
 также x = rcos(θ+α) 
 ⟹ x = (x′/cosα) ∗ cos(θ+α) (из [1]) 
 но, cos(θ+α) = cosθcosα − sinθsinα 
 ⟹ x = (x′/cosα) ∗ (cosθcosα − sinθsinα) 
 ⟹ x = x′cosθ − xsinα ∗ (sinθ / cosα) 
 ⟹ x = x′cosθ − y′cosα ∗ (sinθ / cosα) (из [2]) 
 ⟹ x = x′cosθ − y′sinθАналогично, 
 y = rsin(θ+α) 
 ⟹ y = (y′/sinα) ∗ sin(θ+α) (из [1]) 
 но, sin(θ +α) = sinθcosα + cosθsinα 
 ⟹ y = (y′/sinα) ∗ (sinθcosα + cosθsinα) 
 ⟹ y = y′cosθ + y′cosα ∗ (sinθ / sinα) 
 ⟹ y = y′cosθ + x′ sinα ∗ (sinθ / sinα) (из [2]) 
 ⟹ y = y′cosθ + x′sinθ 
 ⟹ y = x′sinθ + y′cosθ Отсюда имеем 
 x = x′cosθ − y′sinθ 
 y = x′sinθ + y′cosθ 
 Приведенные выше уравнения могут быть представлены в матричной форме как:
 Наша цель — найти (𝑥′,𝑦′). Итак, мы перемещаем матрицу на другую сторону, принимая ее обратную:
 Преобразование со сменой базиса
 Очень важно, чтобы вы понимали эту разницу между линейным преобразованием и преобразованием со сменой базиса.
 Далее мы увидим, как связаны оба этих преобразования.
 Связь между линейным преобразованием и изменением базиса 
 Если вы заметили, изменение базисной матрицы является обратной матрицей линейного преобразования. Это означает, что если мы знаем матрицу преобразования камеры — матрицу, отвечающую за вращение и перемещение камеры в мире, мы можем взять ее обратную, чтобы получить изменение базовой матрицы, которая может помочь нам найти координаты точек относительно камеры. .
 Изменение координат путем перемещения 
 Идея перемещения проста — задана точка 𝑃, мы перемещаем ее на смещение, чтобы получить точку 𝑃′, как показано на рисунке ниже:
 Преобразование перемещения
 Здесь мы перемещаем точку 𝑃 с координатами (𝑥, 𝑦) на смещение (−𝑎, 𝑏), чтобы получить точку 𝑃′ с координатами (𝑥′, 𝑦′). Наша цель — найти (𝑥′, 𝑦′).
 из рисунка, 
 x′ = x - a 
 y′ = y + b 
 Мы не можем выразить приведенные выше уравнения как матричное умножение — по крайней мере, не в их текущем представлении. Хитрость заключается в том, чтобы добавить дополнительное измерение, тогда мы можем выразить перевод как линейное преобразование, например:
 Преобразование как линейное преобразование
 Координаты, представленные дополнительным измерением, называются однородными координатами.
 Чтобы вернуть евклидовы координаты из однородных координат, мы просто делим на последний элемент следующим образом:
 [x, y, 1] ≅ [x/1, y/1] = [x, y] 
 Как правило, мы выполняем все операции в однородном пространстве, так как с ним легко работать, и, наконец, когда мы закончим, мы конвертируем обратно в евклидово пространство. Мы увидим это более подробно позже.
 Изменение базиса путем переноса 
 Как мы видели ранее, при преобразовании изменения базиса мы трансформируем оси, а не точки. В приведенном ниже примере мы перемещаем оси 𝑋𝑌 на смещение, чтобы получить 𝑋′𝑌′. Наша цель — найти координаты точки 𝑃 относительно новых осей 𝑋′𝑌′.
 Перемещение осей XY
 Координаты 𝑃 относительно старых осей 𝑋𝑌 равны (𝑥, 𝑦) и относительно новых осей 𝑋′𝑌′ равны (𝑥′,𝑦′). Смещение здесь равно (𝑎, 𝑏).
 из рисунка, 
 x′ = x - a 
 y′ = y - b 
 Опять же, чтобы представить приведенные выше уравнения в виде матричного умножения, мы используем однородные координаты:
 Изменение базиса смещением
 Даже в смещении линейное преобразование и преобразование изменения базиса обратны друг другу .
 Мы рассмотрели вращение и перемещение по отдельности; Однако мы можем выполнить обе эти операции за один раз, используя матричные композиции, как показано ниже:
 Вращение + Преобразование перемещения
 Здесь 𝑅 — матрица вращения формы (3, 3), а 𝑂 — смещение смещения формы (3, 1). ). Мы можем получить изменение базовой матрицы, взяв обратную матрицу окончательного преобразования. Это изменение базовой матрицы формы (4, 4) называется внешней матрицей камеры и обозначается 𝐸.
 Используя 𝐸, мы можем найти координаты любой точки относительно камеры.
 Степени свободы 
 Внешняя матрица камеры имеет 6 степеней свободы. Три угла поворота и три смещения смещения по осям X, Y, Z.
 Упрощение матрицы 
 Мы можем видеть, что последняя строка внешней матрицы камеры состоит только из 0 и 1. Это не добавит значения преобразованию. Его единственная цель — добавить дополнительное измерение — значение, как мы увидим в приведенном ниже примере мы могли бы просто удалить последнюю строку.
 Практический пример в конце похож на десерт после еды — еда неполноценна без десерта!
 Настройка 
 Репозиторий GitHub со всем кодом можно найти здесь.
 Вы можете настроить среду, выполнив следующие команды:
 # создать виртуальную среду в anaconda 
 conda create -n camera-calibration-python python=3.6 anaconda 
 conda активировать камеру-калибровку-python# клонировать репозиторий и установить зависимости 
 клон git https://github. com/wingedrasengan927/Image-formation-and-camera-dication.git 
 cd Image-formation-and-camera-калибровка 
 pip install -r requirements.txt 
  Примечание:  Это предполагает, что у вас установлена ​​anaconda.
 Мы будем использовать две основные библиотеки:
  pytransform3d:  Эта библиотека имеет отличные функции для визуализации и преобразования в трехмерном пространстве.
  ipympl:    Это меняет правила игры.   Это делает график matplotlib интерактивным, позволяя нам выполнять панорамирование, масштабирование и вращение в реальном времени в ноутбуке, что очень полезно при работе с 3D-графиками.
 Пример Intuition 
 В этом примере мы сначала создадим матрицы преобразования для поворота и перемещения, объединим их в единую матрицу и используем ее для преобразования камеры. Затем мы создадим базовую матрицу изменения, взяв обратную матрицу преобразования и применив ее к точке и изменив ее координаты из мирового кадра в кадр камеры.
 Ниже приведен блокнот для примера, который также можно найти в репозитории.
 Разберем пошагово:
 Сначала импортируем необходимые библиотеки. Файл  utils.py  содержит все необходимые вспомогательные функции. Волшебная команда  %matplotlib widget   включает бэкэнд ipympl, который позволяет нам играть с графиками.
 Далее мы определяем необходимые параметры, такие как углы, порядок вращения, смещение перевода, фокусное расстояние и размер плоскости изображения. Фокусное расстояние и плоскость изображения предназначены только для демонстрационных целей, и мы подробно обсудим их в следующей статье.
 Здесь мы не усложняем и поворачиваем на угол 𝜋/4 относительно стандартной оси Y. Однако мы можем совершать любое количество вращений вокруг любой оси. Просто будьте осторожны с порядком вращения. Наше смещение перевода составляет  [0, -8, 0] , что составляет 8 единиц по оси Y -ve.
 Используя эти параметры, мы создаем матрицы преобразования как для вращения, так и для перемещения.
Матрица в видеокамере: Матрица — что это такое?