Калибровка камеры: Калибровка камеры с использованием с OpenCV — Записки преподавателя

111. = { x _C , Y _C , Z _C , 1} ^T представлен A 4 × 4 MATRIX Denoted . Его можно разложить на матрицу вращения R (параметризуемый, например, тремя углами поворота) и вектор смещения

t (определяемый тремя компонентами). Таким образом, мы имеем:

Эти шесть параметров (три угла, три перемещения) называются внешними параметрами и поэтому определяют позиционирование камеры в трехмерном пространстве .

Второе преобразование соответствует проекции 3D точки M на плоскость сетчатки, к которой локальная система R _I прилагается, в 2D точку м . Он включает только фокусное расстояние f камеры и масштабный коэффициент s в соответствии с:

Последнее преобразование выражает однородные 2D-координаты { x _s } = { x _{s s ,} 1} ^T точки проекции м в кадре датчика

R _S и включает характеристики датчика:

• угол перекоса между горизонтальной и вертикальной осями датчика, принимаемый равным 90°;
• позиция оптического центра
• физический размер пикселя в обе стороны.;

Комбинация двух предыдущих преобразований может быть описана через матрицу проекции 3×4 K , которая записывается:

Таким образом, эта матрица проекции определяется четырьмя внутренними параметрами , относящимися к калиброванной камере: по горизонтали ( f _x и вертикальное ( f _y ) фокусные расстояния в пикселях и положение ( c _x , c _y ) в изображении оптического центра в пикселях.

Полная матрица проекций M , описывающая камеру, таким образом, состоит из матрицы внешних параметров

T и матрицы внутренних параметров K , так что:

Матрица проекций M может быть выражена « неявно » как матрица 3 × 4, содержащая 12 членов ( m _ij ) или « явно », через 10 независимых внешних и внутренних параметров, представленных ранее. В явной форме M записывается:

Целью калибровки камеры является оценка ее проекционной матрицы M . Когда процедура направлена ​​на определение членов m _ij , она называется неявной калибровкой , в то время как называется явной калибровкой (или «сильной» калибровкой), когда она идентифицирует внешние и внутренние параметры.

В представленной ранее модели камеры не учитываются искажения.

Искажения, вызванные несовершенствами оптической системы , такими как дефекты формы и расположения объективов камеры, будут отклонять световые лучи и, таким образом, вызывать отклонение положения спроецированной точки по сравнению с идеальной моделью [2]. Затем можно завершить модель камеры, введя три искажения, которые производят наибольшее количество эффектов, а именно 9.0011 радиальные , децентрирующие и призматические искажения (см. рисунок 2 ), вызванные дефектами кривизны, параллелизма линз и соосности оптических осей.

(a)	(b)	(c)	(d)	(e)

Figure 2 – (a ) Идеальное изображение и эффекты (б) положительного радиального, (в) отрицательного радиального, (г) децентрирующего и (д) призматического искажения [3] .

В следующем разделе будут представлены основные семейства процедур калибровки, направленные на определение параметров модели камеры.

Как выполнить калибровку камеры?

Целью калибровки камеры является определение параметров (явных или неявных) связанной с ней проекционной матрицы. Существует несколько методов, которые можно сгруппировать в три основные категории, описанные ниже:

• Калибровка благодаря мишени — классический подход к калибровке камеры;
• Самокалибровка , которая использует априорные знания номинальной геометрии изображаемого объекта для определения параметров камеры;
• Гибридная калибровка , которая объединяет два предыдущих подхода для определения отдельно внутренних и внешних параметров камеры.

Калибровка с целью основана на использовании трехмерного объекта известной геометрии (называемый калибровочной мишенью ) и его изображение, полученное камерой [1, 2]. Этот объект калибровки имеет определенные 3D-точки на своей поверхности с известным положением. Они могут соответствовать пересечению вертикальных и горизонтальных линий, когда цель представляет собой сетку (или шахматную доску), или центру кругов, когда объект калибровки состоит из точек. Положение этих трехмерных точек на изображении калибровочной мишени часто получают с помощью процедур автоматического анализа изображения [4].

Рисунок 2 – Примеры 3D и 2D калибровочных мишеней с сеткой и/или точечными шаблонами [5-8].

Алгоритм, используемый в этом подходе, направлен на поиск параметров модели камеры, минимизирующих разницу между положением 3D-точек, спроецированных с помощью модели камеры, и реальным положением этих точек на изображении. Таким образом, алгоритм состоит в оптимизации проекционной матрицы до тех пор, пока квадратичная сумма этих ошибок перепроецирования не будет минимизирована. При таком подходе можно определить проекционную матрицу либо неявно, либо явно . Характеристики искажения можно выделить и для наиболее сложных моделей [9, 10]. В случае системы стереовидения (, т.е. , с 2 камерами) этот подход позволит независимо идентифицировать параметры (внутренние и внешние) одной из двух камер, которая станет « ведущей камерой » [5]. Вторая камера, называемая «ведомой камерой », будет иметь свои внутренние параметры, идентифицированные через цель калибровки, а ее внешние параметры будут определены в зависимости от положения ведущей камеры посредством определения матрицы линейного преобразования, позволяющей перейти от камеры 1 к камере 2. Эта матрица может быть предварительно определена поставщиком системы стереозрения для систем, в которых относительное положение камер фиксировано или повторно идентифицировано по изображениям калибровочных объектов. Поскольку мишени, используемые для калибровки, должны занимать трехмерное пространство, они должны быть трехмерными или, если они плоские, они должны быть трехмерными. 0011 перемещался в пространстве с помощью поступательно-вращательных движений [1, 11]. При таком типе калибровки необходимо получить не менее 50 изображений цели [12, 13], чтобы можно было откалибровать систему стереозрения и минимизировать влияние шумов при съемке и ошибок калибровки. Кроме того, поскольку цель калибровки является внешней, невозможно повторно откалибровать камеры во время эксперимента , что может быть необходимо, если камеры непреднамеренно перемещаются (движения штатива камеры, постепенное отвинчивание камер…).

Второй тип калибровки называется самокалибровкой [14] и используется, в частности, в так называемых «глобальных» стереокорреляционных подходах [15], таких как предложенный EikoTwin DIC. В качестве калибровочного объекта используется весь тестовый образец , и это благодаря плотному описанию объекта ( т.е. , положение каждой точки образца параметризовано и может быть определено с помощью математической модели [16]). Одним из возможных описаний является сетка конечных элементов [17, 18]. Следовательно, вся сетка используется как определенные точки для минимизации ошибок перепроецирования и идентификации параметров моделей камер (а не только отдельных точек калибровочной цели). Вся эта сетка будет связана со всей крапчатой ​​тестовой выборкой, видимой на изображениях, полученных камерами, и, соответственно, со всей текстурой образца (пятнистой структурой). Цель процедуры – одновременно найти неявные параметры, параметрирующие камеры (без иерархии между камерами), минимизируя разницу в уровне серого между проекцией 3D-точек через каждую из камер (используя ее проекционную модель для оптимизации) и эталонным изображением общий для всех камер (построен из всех камер). Трехмерные точки соответствуют точкам оценки, созданным для каждого элемента сетки (равномерно разделенные подразделения внутри элемента), где уровни серого и градиенты будут оцениваться для минимизации ошибок перепроецирования. Таким образом, при таком подходе можно откалибровать систему стереозрения с помощью одной пары изображений , будучи устойчивым к шуму благодаря множеству точек оценки, вызванных плотным описанием тестируемого объекта. Более того, положение камер выражается в системе отсчета образца , и возможно перекалибровать камеры по желанию во время теста с использованием полученных изображений.

Однако одним из ограничений этого подхода к самокалибровке является трехмерный характер тестируемого образца , что остается условием, позволяющим избежать математических особенностей калибровки камеры [9]. В случаях, когда тестируемый объект не соответствует этим геометрическим условиям (случай плоского образца или тела вращения, такого как цилиндр), рекомендуется прибегнуть к гибридной калибровке , которая также является процедурой, предложенной EikoTwin DIC. Этот подход сочетает в себе использование калибровочного объекта ChAruCo (известной геометрии) и подхода глобальной стереокорреляции (посредством самокалибровки). Использование мишени ChAruCo позволяет явно установить некоторые параметры проекции в фиксированные значения, а именно внутренние параметры камеры (матрица K ), а в сделать идентификацию внешней матрицы T (в неявной форме ) надежнее за счет самокалибровки. Более подробно описание этого подхода, его преимуществ и условий применения представлено в нашем блоге «Гибридная калибровка: надежная альтернатива самокалибровке».

Как избежать ошибок калибровки камеры?

Плохая калибровка камеры очень часто приводит к ошибкам измерения перемещений и, следовательно, деформаций . Чтобы обеспечить надлежащую калибровку, может быть целесообразно получить изображения движений твердого тела (поступательного движения) с известной амплитудой и убедиться, что измерение смещения является согласованным.

Кроме того, можно принять несколько мер предосторожности, чтобы обеспечить успешное выполнение фазы калибровки :

• Воспользуйтесь « Virtual Testing », подготовив тест заранее виртуально. EikoTwin Virtual использует инструмент визуализации Blender, чтобы заранее определить положение камеры и оптимизировать его, чтобы иметь хорошую калибровку для измерения ожидаемых смещений (из моделирования методом конечных элементов). Более подробную информацию об этих аспектах можно найти в нашей статье «Подготовка теста корреляции цифровых изображений с помощью Blender», доступной в нашем блоге.
• Если этот этап виртуализации не может быть выполнен, рекомендуется предупредите возможные проблемы , адаптировав положение камер в день эксперимента, выделив дополнительные 3D-точки в FOV или используя гибридную калибровку, чтобы сделать калибровку камер более надежной. Было определено несколько критериев для предварительной оценки надежности калибровки , см. нашу статью «Освоение самокалибровки с помощью Eikotwin DIC».

Калибровка камер является первым этапом любого анализа с помощью корреляции цифровых изображений и остается этапом, который необходимо выполнять тщательно , особенно когда требуются точные измерения (формы, смещения или деформации). Все существующие подходы направлены на минимизацию ошибок репроецирования между характеристикой, связанной с проекцией конкретных трехмерных точек (положение, значение уровня серого) и их реальной характеристикой на изображении. Затем эти точки могут быть примечательными точками на калибровочной цели или точками оценки, связанными с сеткой поверхности в случае глобальных подходов. EikoTwin DIC предлагает процедуры калибровки с помощью самокалибровки и гибридной калибровки для определения надежным и одновременным способом проекционных матриц камер с использованием одной пары изображений (и около двадцати целевых изображений, если гибридная выбрана калибровка). Эти процедуры имеют много преимуществ (простота, калибровка в системе отсчета тестируемого образца, устойчивость к шуму, возможность одновременной калибровки многоракурсной системы…) и могут 0011 быть адаптированным к любому типу эксперимента . Предварительно подготовив тест с помощью виртуализации или проверив соответствие некоторым критериям, можно убедиться, что камеры правильно откалиброваны , что является необходимым условием для надежного измерения перемещений и уменьшения ошибок для кинематики измерения.

Ссылки

[1] O. Faugeras, Трехмерное компьютерное зрение: геометрическая точка зрения . Кембридж, Массачусетс (США): MIT Press, 19.93.

[2] М. Саттон, Дж. Ортеу и Х. Шрайер, Корреляция изображений для измерения формы, движения и деформации: основные концепции, теория и приложения . Нью-Йорк, штат Нью-Йорк (США): Springer, 2009.

[3] G. Besnard, Характеристика и количественная оценка поверхностей с точки зрения стереокорреляции для механических исследований квазистатической сверхбыстрой динамики . Кандидатская диссертация (на французском языке), ENS de Cachan, 2010.

[4] P. Brand, Трехмерная реконструкция сцены с участием камеры в движении: влияние точности . Докторская диссертация (на французском языке), Université Claude Bernard (Lyon I), 1995.

[5] D. Garcia, Mesure de formes et de champs de déplacements tridimensionnels par séréocorrélation d’images . Кандидатская диссертация (на французском языке), Institut National Polytechnique de Toulouse (INPT), 2001.

[6] J. Heikkilä, «Геометрическая калибровка камеры с использованием круговых контрольных точек», IEEE Transactions on Pattern Analysis and Machine Intelligence , vol. 22, с. 1066 – 1077, 2000.

[7] Исходное изображение с: https://dantecdynamics.com/wp-content/uploads/2019/11/2.-Calibration-target.png

[8] Исходное изображение с: https://correlatedsolutions.com /wp-content/uploads/2016/09/3D-Calibration.jpg

[9] Р. Цай, «Универсальный метод калибровки камеры для высокоточной метрологии трехмерного машинного зрения с использованием стандартных телекамер и объективов» , IEEE J. Robotics Autom. , том. РА-3, вып. 4, pp. 323–343, 1987.

[10] J. Heikkilä et O. Silvén, «Четырехэтапная процедура калибровки камеры с неявной коррекцией изображения», Международная конференция IEEE по компьютерному зрению и распознаванию образов , стр. 1106–1111, 1997.

[11] Z. Zhang, «Новый гибкий метод калибровки камеры», IEEE Trans. Анальный узор. Машинный интеллект. , том. 22, нет. 11, стр. 1330–1334, 2000.

[12] М. Саттон, «Бесконтактные измерения деформации на основе компьютерного зрения в механике: преобразование поколений», Appl. мех. Ред. , том. 65, нет. АМР-13-1009, с. 050802, 2013.

[13] Международное общество корреляции цифровых изображений, Руководство по эффективной практике корреляции цифровых изображений , Jones, E.M.C. et Iadicola, MA (Eds.), 2018.

[14] O. Faugeras, Q. Luong, et S. Maybank, «Самокалибровка камеры: теория и эксперименты», dans Proc. 2nd ECCV , стр. 321–334, Springer-Verlag, 1992.

[15] J.-E. Дюфур, Ф. Хильд и С. Ру, «Форма, смещение и механические свойства на основе изогеометрической многоракурсной стереокорреляции», J. Анализ деформации , vol. 50, нет. 7, стр. 470–487, 2015.

[16] F. Hild et S. Roux, «Procédé de mesures tridimensionnelles par stereo-corrélation utilisant une representation paramétrique de l’objet mesuré», Dec. 6 2013. Patent n. °FR2991448.

[17] Ж.-Э. Dufour, B. Beaubier, S. Roux, et F. Hild, «Измерение смещения с использованием стереокорреляции на основе САПР с сетками», в конференции ICEM , 2014 г.

[18] L. Dubreuil, J.-E . Дюфур, Ю. Куинсат и Ф. Хильд, «Измерения формы на основе сетки со стереокорреляцией: принцип и первые результаты», Экспл. мех. , нет. 56, стр. 1231–1242, 2016 г.

Калибровка камеры — документация Navigation 2 1.0.0

Редактировать

• Обзор

• Требования

• Этапы обучения

Обзор

В этом руководстве показано, как получить параметры калибровки монокулярной камеры.

Требования

1- Установите Camera Calibration Parser, Camera Info Manager и Launch Testing Ament Cmake с помощью диспетчера пакетов операционной системы:

sudo apt install ros--camera-calibration-parsers

sudo apt install ros--camera-info-manager

sudo apt install ros--launch-testing-ament-cmake

2- Image Pipeline должен быть создан из исходного кода в вашей рабочей области с помощью:

git clone – b git@github.com:ros-perception/image_pipeline.git

Также убедитесь, что у вас есть следующее:

• Большая шахматная доска с известными размерами. В этом уроке используется шахматная доска 7×9 с квадратами 20 мм. Калибровка использует внутренние точки вершин шахматной доски, поэтому доска «8×10» использует параметр внутренних вершин «7×9», как в примере ниже. Шахматную доску с заданными размерами можно скачать отсюда.

• Хорошо освещенное место, свободное от препятствий и других рисунков контрольной доски

• Монокулярная камера, публикующая изображения через ROS

Шаги руководства

1- Запустите терминал в графическом интерфейсе

2- Запустите драйвер ROS для вашей конкретной камеры.

3- Убедитесь, что камера публикует изображения через ROS. Это можно проверить, запустив:

Список тем ros2

4- Это покажет вам все опубликованные темы, убедитесь, что есть тема image_raw /camera/image_raw. Чтобы убедиться, что это реальная тема и действительно публикуется, проверьте тему hz:

тема рос2 хз /camera/image_raw

5- Запустить узел калибровки камеры

ros2 run camera_calibation cameracaulibator --size 7x9 --square 0. 02 --ros-args -r image:=/my_camera/image_raw -p camera:=/my_camera

 Имя камеры:
-c, --camera_name
        имя камеры, которое будет отображаться в файле калибровки
Варианты шахматной доски:
Вы должны указать одну или несколько шахматных досок в виде пар параметров --size и --square.
  -p ШАБЛОН, --pattern=ШАБЛОН
                    калибровочный шаблон для обнаружения - «шахматная доска», «круги», «круги», «чаруко»
  -s РАЗМЕР, --size=РАЗМЕР
                    размер шахматной доски как NxM, считая внутренние углы (например, стандартная шахматная доска 7x7)
  -q КВАДРАТ, --square=КВАДРАТ
                    размер шахматной доски в метрах
Варианты связи ROS:
 -- приблизительно = ПРИБЛИЗИТЕЛЬНО
                    разрешить указанный интервал (в секундах) при сопряжении изображений с несинхронизированных стереокамер
 --нет-сервис-проверить
                    отключить проверку сервисов set_camera_info при запуске
Параметры оптимизатора калибровки:
 --fix-главная-точка
                    зафиксировать главную точку в центре изображения
 --fix-соотношение сторон
                    обеспечить равенство фокусных расстояний (fx, fy)
 --zero-tangent-dist
                    установите коэффициенты тангенциального искажения (p1, p2) равными
                    нуль
 -k NUM_COEFFS, --k-коэффициенты=NUM_COEFFS
                    количество используемых коэффициентов радиальной дисторсии (до
                    6, по умолчанию 2)
 --disable_calib_cb_fast_check
                    использует флаг CALIB_CB_FAST_CHECK для findChessboardCorners
    Откроется окно калибровки, в котором будет выделена шахматная доска. 
 

6- Чтобы получить хорошую калибровку, вам нужно переместить шахматную доску в кадре камеры так, чтобы:

• шахматная доска слева, справа, вверху и внизу поля зрения камеры

  ◦ X полоса — слева/справа в поле зрения

  ◦ Y полоса — верх/низ в поле зрения

  ◦ Полоса размера — в сторону/от камеры и наклон от камеры

• шахматная доска, заполняющая все поле зрения

• шахматная доска с наклоном влево, вправо, вверх и вниз (перекос)

7- По мере перемещения шахматной доски 4 полосы на боковой панели калибровки увеличиваются в длину. Когда все 4 полоски станут зелеными и будет доступно достаточно данных для калибровки, загорится кнопка CALIBRATE. Нажмите на нее, чтобы увидеть результаты. Калибровка занимает около минуты.

8- После завершения калибровки загораются кнопки сохранения и подтверждения.