Digital Image Processing - Camera Calibration / HDR

---

Image Sensing Pipeline

카메라가 받아오는 광자를 digital 신호로 바꾸고 해당 신호를 처리해서 사람이 보기 좋은 상태로 만드는 전 과정이 Image processing이라고 할 수 있다. 아래는 해당 step들에 적용될 수 있는 연산들이다.

 

해상도가 무한이고, 확대도 무한이고, 잡음이 없고 blur도 없고 모든 것이 이상적인 카메라가 있다면 문제가 없겠지만 현실서는 불가능한 일이기에 Computational camera and photography를 필요로 한다.

---

Camera Calibration

Calibration은 한글로 '보정'이라는 의미가 있다. 크게 Geometric calibration과 photometric calibration으로 나눠서 볼 수 있다.

Geometric calibration은 픽셀 좌표가 실제 세계의 3D 좌표와 어떻게 연결지어질지 관계를 따진다. 아래 그림과 같은 체스판 패턴을 이용하여 카메라의 렌즈 왜곡이나 3D 공간에서의 위치 추정과 같은 기하학적 특성을 측정한다.

Photometic calibration은 픽셀 값이 실제 세계에서의 광량과 어떻게 관련되는지를 다룬다. 예시로는 Gamma correction, white balancing과 같은 기법이 있다. 이러한 보정은 색상의 정확성과 이미지의 질을 향상시키기 위해 필요하다. 아래의 그림은 GretagMacbeth Color Checker로 색상 처리의 기준 역할이 되는 색상 차트이다.

 

Camera Response Function(CRF)는 카메라가 빛의 양을 어떻게 이미지의 픽셀 값으로 변환하는지를 나타내는 함수이다. 이는 카메라마다 다르며, 픽셀이 빛의 실제 양을 어떻게 반영하는지를 결정한다.

아래는 실제 카메라들의 CRF 특성 그래프이다.

특성은 모두 다르지만 공통적으로 단조 증가하는 그래프임을 알 수 있다. 이는 들어오는 광량보다 적게 받아들여서는 안되기 때문이다.

---

Dynamic Range

카메라의 많은 문제중에 대표적인 문제는 흔히 말하는 역광 문제이다. 이는 사람 얼굴에 비해 너무 밝은 빛인 태양 빛이 255로 설정이 되어 그에 비해 한참 어두운 사람의 얼굴이 까맣게 나오는 것이다. 다시 말해 밝기를 표현하는 dynamic range의 크기가 제한되어 있어서 발생하는 것이다. 실제 세상의 밝기는 다음과 같이 High Dynamic Range를 갖고 있다.

이러한 문제를 해결하기 위해 다양한 노출도로 사진을 촬영하여 각 부분이 가장 잘 보이는 밝기를 반영하여 사진을 재구성하는 방법을 이용한다.

각 부분의 밝기를 반영하여 아래와 같은 Radiance map을 그릴 수 있다.

다른 예시를 통해서도 같은 작업 과정을 살펴볼 수 있다.

그 과정을 살펴보면 아래와 같다.

노출도를 높여서 밝게 만든 영상에서는 실제로는 가장 어두운 픽셀들을 가져오고 노출도를 낮춘 어두운 영상에서는 실제로 가장 밝은 픽셀들이 잘 보이므로 해당 부분을 가져와서 하나로 통합한다. 그 과정을 통해 merge를 하면 아래와 같이 보기 좋은 영상이 나온다.

---