인간을 비롯한 동물에게 있어서 눈은 생존을 위한 거리 측정이라는 중요한 기능을 맡고 있다. 포식자의 경우에는 먹잇감을 사냥할 때 눈을 이용해 사냥감까지 거리를 예측하고, 피식자의 경우에는 포식자의 접근을 알아차려 위험으로부터 몸을 피할 수 있다. 눈을 이용한 생존 경쟁은 5억 4,000만년 전 눈을 가진 생명체가 지구상에 출현했을 때부터 시작됐으며, 이때부터 다양한 구조의 눈을 가진 동물 종이 폭발적으로 증가하였다. 진화 초기에 나타난 동물들 가운데는 1개의 눈을 가진 캄브로파키코페(Cambropachycope)부터 5개의 눈을 가진 오파비니아(Opabinia), 키린시아(Kylinxia)까지 다양한 종이 존재했으나, 대부분의 포유류는 지금과 같은 2개의 눈으로 수렴하게 됐다.1)
2개의 눈으로 하나의 사물을 바라보면 왼쪽 눈과 오른쪽 눈 사이의 위치 차이로 인해 약간의 영상 차이가 발생하고, 두뇌에서 이 차이를 계산하면 목표물까지의 거리를 예측할 수 있다. 이러한 원리를 양안 시차2)라고 하며, 대부분의 동물들은 2개의 눈으로 양안 시차를 이용해 거리를 측정한다.
1) Andrew Parker, In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution, 2003.
2) 양안 시차 (Binocular Disparity): 하나의 물체를 바라봤을 때 왼쪽 눈과 오른쪽 눈에 보이는 물체의 이미지 위치 차이.
스마트폰 카메라도 양안 시차를 이용해 피사체의 초점을 맞추는 PDAF (Phase Detection Auto Focus)기술을 사용했다.(참고기사 ▶SK하이닉스가 선도하는 CMOS Image Sensor 혁신) 금번에 SK하이닉스는 더욱 개선된 A4C(All 4-Coupled) 이미지 센서를 개발함으로서 모든 화소를 위상차 화소로 사용하면서도 컬러 정보를 받아들일 수 있게 함으로서 화질과 자동 초점 성능을 동시에 향상 시켰다. A4C 센서의 기본 개념은 3)에서 제안됐으나, SK하이닉스의 A4C 센서는 자동 초점뿐만 아니라 화질 개선 및 다양한 어플리케이션 측면에서 발전을 이루었다. 이번 아티클을 통해서 SK하이닉스가 개발한 A4C 이미지 센서가 보유한 3가지 장점 △빠르고 정확한 초점 검출 △고해상도 이미지 △다양한 활용 가능을 하나하나 살펴보도록 하자.
3) T. Okawa, et al. “A 1/2inch 48M All PDAF CMOS Image Sensor Using 0.8µm Quad Bayer Coding 2×2OCL with 1.0lux Minimum AF Illuminance Level,” IEDM, Dec. 2019.
A4C 센서의 첫 번째 장점 – 빠르고 정확한 초점 검출
A4C 센서 구조는 그림 1과 같다. 일반적인 Quad 센서와 유사하게 빛을 전자로 변환하는 포토 다이오드와 특정 파장의 빛을 통과시키는 컬러 필터를 가지고 있다.(참고기사 ▶SK하이닉스 블랙라벨 이미지센서 ‘1.0um 블랙펄(Black Pearl)’의 모든 것) 그러나 Quad 센서와는 다르게, 좌상단(TL), 우상단(TR), 좌하단(BL), 좌하단(BR) 4개의 동종 컬러 화소에 1개의 마이크로 렌즈4)가 올라가는 구조이다.
4) 마이크로 렌즈: CIS 효율을 향상시키기 위해 입사된 빛을 가운데로 집광하는 렌즈
▲ 그림 1. A4C 센서 구조
A4C 센서의 자동 초점은 피사체로부터 다양한 경로의 빛이 센서의 한 점에 수렴하면 초점이 맞고, 한 점에 수렴하지 않으면 초점이 맞지 않는 원리를 이용한다. 즉, 1개의 마이크로 렌즈 아래에 존재하는 4개 화소의 밝기값을 비교해 차이가 없으면 초점이 맞고, 그렇지 않으면 초점이 맞지 않는 것으로 판단한다. 예를 들면, 그림 2와 같이 피사체의 한 점을 촬영했을 때, 그림 2의 첫 번째와 같이 초점이 맞는 경우에는 빨간색으로 표시된 렌즈 상단 경로의 빛과 파란색으로 표시된 렌즈 하단 경로의 빛이 동일한 마이크로 렌즈 아래 화소에 맺힌다. 하지만 그림 2의 두 번째/세 번째와 같이 피사체가 초점이 맞는 거리보다 앞이나 뒤에 있는 경우에는, 렌즈 상단과 하단으로 투과된 빛이 하나의 마이크로 렌즈에 수렴하지 않고 다른 화소에 맺혀서 위상차5)가 발생한다. 이러한 위상차를 분석하면, 모듈 렌즈의 위치를 어디로 이동시켜 초점을 맞출 수 있는지 계산할 수 있다.
5) 위상차 (Disparity): 피사체의 한 점이 광선 경로에 따라 센서면의 다른 위치에 맺혔을 때 발생하는 상대적 변위량
▲ 그림 2. 피사체 거리에 따른 위상차 검출
기존 PDAF 기술과 비교했을 때, A4C 센서는 모든 화소에서 위상차를 계산할 수 있기 때문에 정확도가 높고, 10럭스(lux) 이하의 저조도 환경에서 10배 이상의 정확도 향상을 얻을 수 있다. 또한 좌우 양안 시차를 사용하는 기존 PDAF 기술과는 달리, A4C 센서는 마이크로 렌즈 아래의 상하좌우 4개 화소의 위상차를 이용하기 때문에 수평/수직 방향 피사체의 초점 검출 능력이 우수하다. 그림 3은 일반적인 AF(Auto Focus)와 A4C AF의 성능 차이를 보여준다.
▲ 그림 3. 일반 센서와 A4C 센서의 AF 성능 차이 (좌: 일반 AF, 우: A4C AF)
A4C 센서의 두 번째 장점 – 고해상도 이미지
A4C 센서의 출력 이미지는 각 마이크로 렌즈 아래 4개 화소를 묶어서 출력해 감도를 향상시키거나, 각각의 화소를 개별적으로 출력해 해상도를 향상시킬 수 있다. 예를 들면 50MP(Mega Pixel) 화소의 A4C 센서를 50MP 화소 해상도6)로 출력하거나, 12.5MP 마이크로 렌즈 해상도7)로 출력할 수 있다. 마이크로 렌즈 아래 화소를 묶어서 사용하는 경우에는 개별 화소 단위로 사용하는 것보다 해상도가 1/4로 줄어들지만, 4개 화소를 묶음으로써 수광량을 4배 향상시킬 수 있다. 따라서 야간 저조도 환경과 같이 빛이 모자라는 경우에는 마이크로 렌즈 해상도로 사용하는 것이 유리하다.
6) 화소 해상도: A4C 센서의 화소 개수
7) 마이크로 렌즈 해상도: A4C 센서의 마이크로 렌즈 개수. A4C 센서의 마이크로 렌즈 해상도는 화소 해상도의 1/4
반면에 주간 실외 환경과 같이 빛이 충분한 곳에서는 개별 화소로 출력해 해상도를 향상시키는 것이 유리하다. 화소 해상도로 출력하면 마이크로 렌즈 해상도보다 4배 높기 때문에 선명도와 디테일 표현력이 향상된다. 그렇지만 A4C 센서를 화소 해상도로 출력하는 경우에는 위상차로 인해 발생하는 화질 문제를 극복해야 한다. 그림 4와 같이 거리가 다른 여러 개의 피사체가 존재하는 경우, 실선으로 표시된 초점이 맞는 피사체에 대해서는 문제없이 고해상도 이미지를 얻을 수 있다. 그러나, 점선으로 표시된 초점이 맞지 않는 피사체에 대해서는 위상차가 발생하기 때문에, 마이크로 렌즈 아래 인접 화소간 밝기 차이가 존재해 주기적인 격자 형태의 화질 열화가 나타나게 된다.
▲ 그림 4. 거리가 다른 피사체가 존재하는 이미지
그림 5는 다양한 거리에 있는 피사체들을 A4C 센서로 촬영한 이미지이다. 초점은 가장 앞에 있는 초록색 피사체에 맞았고, 나머지 물체들은 초점이 맞지 않아 흐리게 촬영됐다. 그림 5의 흰색 표시 영역을 확대하면, 그림 5 좌측과 같이 위상차로 인한 격자 패턴의 화질 열화가 나타나는 것을 볼 수 있다. 이를 위해 SK하이닉스의 A4C 센서는 독자적으로 개발한 APC(A4C Phase Correction) 기술과 Q2B(Quad-to-Bayer) 기술을 적용해 그림 5 우측과 같이 화질 열화가 나타나지 않도록 처리한다. 특히 SK하이닉스의 APC 알고리즘은 피사체에서 반사된 빛이 모듈 렌즈의 어느 경로로 이미지 센서에 도달했는지 분석해, 초점이 맞는 영역에서는 디테일 표현력을 유지하고, 초점이 맞지 않는 영역에서는 위상차로 인한 화질 열화를 보정한다.
▲ 그림 5. A4C 센서 출력 이미지
A4C 센서의 세 번째 장점 – 다양한 활용 분야
정확한 초점 검출과 고해상도 이미지 촬영이라는 장점 외에도, A4C 센서는 Light Field Imaging 어플리케이션에 활용할 수 있다. Light Field Imaging은 물체에서 발산하는 광선의 분포를 재현하는 기술로서, 3차원 공간상의 특정 위치에서 특정 방향으로 빛이 얼마만큼의 세기를 가지는지 계산해 보케(Bokeh)8), 리포커스(Refocus)9), 멀티뷰(Multi-view)10) 등 컴퓨터 비전 어플리케이션에 활용하는 기술이다.
8) 보케(Bokeh): 피사체에 초점을 맞추고 배경은 흐릿하게 처리하는 기술
9) 리포커스(Refocus): 촬영된 이미지의 원하는 위치에 다시 초점을 맞추는 기술
10) 멀티뷰(Multi-view): 다른 각도에서 촬영된 복수의 이미지를 이용해 기하학적으로 교정하거나 공간적으로 합성하는 기술
그림 6과 같이 A4C 센서로 촬영하는 경우, 초점이 맞는 위치의 피사체에서 반사된 빛은 4개의 서로 다른 경로를 따라서 전달돼 하나의 마이크로 렌즈 아래 서로 다른 4개의 화소에 맺히게 된다. 따라서 A4C 화소의 밝기 값과 마이크로 렌즈 아래 위치를 알면, 해당 화소의 빛의 세기와 빛이 진행한 방향 정보를 알 수 있다.
▲ 그림 6. A4C 센서를 이용한 피사체 촬영
특히 마이크로 렌즈 아래 동일한 위치의 화소들을 모아서 부분 이미지를 만들면, 해당 화소들은 모듈 렌즈의 동일한 경로를 지나서 센서에 도달했기 때문에 모듈 렌즈의 해당 위치에서 바라본 부분 이미지를 만들 수 있다(예를 들면 마이크로 렌즈 아래 좌상단(TL) 화소를 모아서 부분 이미지를 만들면 모듈 렌즈 좌상단에서 바라본 부분 이미지를 만들 수 있다). 이렇게 생성된 부분 이미지를 SA(Sub-Aperture) 이미지라고 하며11), A4C 센서는 모듈 렌즈의 좌상단, 우상단, 좌하단, 우하단 방향의 4개 SA 이미지를 얻을 수 있다. 이러한 다른 시점을 갖는 4개의 SA 이미지는 아래와 같은 다양한 컴퓨터 비전 어플리케이션에 활용할 수 있다:
1) 보케(Bokeh) 어플리케이션 : 4장의 SA 이미지를 이용하면 Bokeh 이미지 화질을 향상시킬 수 있다. 일반적인 듀얼 카메라 기반의 Bokeh는 좌우 카메라 사이의 화각 및 기계적 변위로 인해 오차가 존재하지만, SA 이미지를 사용하면 하나의 A4C 센서에서 만들어진 부분 이미지들이므로 이러한 오차가 발생하지 않는다. 또한 4장의 SA 이미지를 사용해 깊이 정보를 계산하기 때문에 2장의 이미지를 사용하는 듀얼 카메라보다 높은 정확도를 얻을 수 있다.
2) 리포커스(Refocus) 어플리케이션 : A4C 센서의 밝기 및 방향 정보를 이용해 원하는 위치에서 초점을 다시 맞추는 Refocus 지원이 가능하다. 기존의 Refocus 기술은 센서 상단에 추가적인 마이크로 렌즈 어레이를 필요로 하기 때문에 기계적인 오차가 발생할 수 있으나11), A4C 센서를 사용하면 마이크로 렌즈 어레이가 필요하지 않으므로 기계적 오차가 발생하지 않고 정확도 향상이 가능하다.
3) 멀티뷰(Multi-view) 어플리케이션 : 본질적으로 SA 이미지는 다른 각도에서 피사체를 바라본 이미지 데이터이다. 따라서 4장의 SA 이미지를 이용하면 3D 영상 복원, 3D 기반의 보안 어플리케이션, 저조도 화질 개선 등 다양한 Multi-view 어플리케이션에 활용할 수 있다.
11) R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan. "Light Field Photography with a Hand-held Plenoptic Camera," Stanford University Computer Science Technical Report CSTR 2005-02, April 2005.
이상에서 본 바와 같이 SK하이닉스의 A4C 센서는 기존 이미지 센서의 한계를 극복해 빠르고 정확한 초점 검출, 고해상도 이미지 촬영, Light Field Imaging 기반의 다양한 어플리케이션에 활용할 수 있다. 또한 SK하이닉스는 A4C 센서뿐만 아니라 HDR(High Dynamic Range), Non-Bayer, Pixel Binning 등 새로운 ISP(Image Signal Processor) 기술을 개발하고 있고, 업계 최고의 소자/공정 기술력을 바탕으로 0.7㎛(마이크로미터), 0.64㎛ 등 미세 화소를 개발해 CIS 화소 집적도를 높임으로써 미래의 인포메이션 센서의 핵심 부품으로 성장하고 있다. 앞으로 SK하이닉스의 CIS는 스마트폰 카메라뿐만 아니라 바이오, 보안, 자율주행 자동차 등 다양한 어플리케이션에 활용돼 경제적/사회적 가치 창출에 크게 이바지할 것이다.
