CMOS 이미지 센서의 메타비전: The Eye Beyond the Eye

지난 역사를 돌이켜 보면 지구상 생명체의 출현은 34억 년 전에 시작했다. 그 후 생명체의 진화는 느리게 진행됐으나 약 5억 4,000만 년 전에 빠른 속도로 진화가 진행되며 종의 다양화가 이루어졌는데, 이 시기를 캄브리아기 대폭발(Cambrian Explosion)이라고 부른다.

갑자기 종이 다양화된 원인 중 하나는 ‘다양한 감각 기관의 발달’이인데 이 중 가장 중요한 사건이 눈이라는 감각기관이 만들어진 것이었다. 학자들의 해석에 따르면 암흑세계에서 새로운 정보의 출현이 종의 다양화와 진화의 폭발을 유발했다고 한다. 눈은 뇌의 일부가 튀어나와 생성된 것으로 이 눈을 통해 생명체는 세상을 볼 수 있게 됐다. 이로 인해 생명체의 에너지 소비가 증가하게 됐고 다양한 정보를 기반으로 적응 및 이동이 확대됐다.

이와 비슷한 현상은 우리가 사용하는 전자 장치에도 나타났다. 디지털화가 계속됨에 따라 눈의 역할을 하는 카메라가 모바일 장치에 장착된 것이다. 그리고 ‘CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서(이하 CIS)’는 이 카메라에서 사람 눈의 망막처럼 이미지를 포착하는 역할을 하는 장치다.

CIS 기술을 사용하여 막대한 양의 이미지 정보를 쉽게 처리, 재생, 저장할 수 있게 됐다. 이로 인해 모바일 장치는 방대한 양의 데이터를 처리해야 하는 상황이 됐고, ‘뇌’ 역할을 하는 애플리케이션 프로세서(AP: Application Processor)는 물론 메모리의 용량과 성능도 빠르게 향상되기 시작했다. 또한 사용자 입장에서는 카메라가 더욱 중요해지면서 모바일 기기의 다양화를 가져왔다.

캄브리아기 시대에 일어났던 변화가 전자 장치를 통해 우리 일상생활에도 발현된 것이다. 그리고 최근에 '비대면' 시대를 열었던 코로나19의 범 유행은 이 같은 전자 장치의 다각화를 가속하고 전자기기의 폭발적인 성장을 이끌었다. 포스트 코로나 시대에도 이러한 기조는 계속될 것으로 전망된다.

Like the Eye

CIS의 가장 큰 역할은 우리가 눈으로 보는 이 세계를 똑같이 재현하는 것이다. 우리가 원하는 CIS는 인간의 눈과 유사한 정도의 해상도를 갖추고 어둡거나 밝은 환경에 구애받지 않고 볼 수 있어야 하며, 움직이는 물체를 고속으로 포착해야 한다.

아래 그림에는 CIS의 기본 픽셀(PX) 구조 및 동작 특성이 나와 있다. 물체에서 반사된 빛은 광학 시스템을 통과해 포토다이오드로 들어가는데, 빛의 광자 에너지(Photon Energy)가 반도체의 밴드갭 에너지(Bandgap Energy)를 초과하면 e-/h+ 쌍을 생성한다. 이 신호를 축적하고 읽어내면 빛의 강약에 따라 2D 이미지를 형상화할 수 있다. 실리콘의 밴드갭 에너지는 1.1eV(Electron Volt)이며, 이 에너지는 인간 눈의 전체 가시광대역을 다룰 수 있다. 알려진 바와 같이 실리콘이 대부분의 반도체 소자의 재료로 사용됨을 보았을 때 우연의 일치가 아닐 수 없다. 

▲그림 1. 인간의 눈과 CIS 작동

어두운 환경에서 잘 보려면 적은 양의 빛에서 나오는 신호를 잘 증폭하고 광신호가 아닌 성분(노이즈)은 최대한 억제해야 한다. 또한 밝은 환경에서 보기 위해서는 많은 양의 빛을 다 받아 이를 잘 구분해야 한다. 이러한 특성을 정량화한 지표로 빛의 세기에 의한 SNR(Signal to Noise Ratio)과 DR(Dynamic Range: FWC to Noise Ratio)이 있다.

저조도(low-light) SNR 측면에서 신호를 증폭하고 원치 않는 노이즈를 줄이기 위한 많은 노력이 있었다. 오늘날 우리는 이러한 특성을 지속적으로 개선해 매우 어두운 환경인 5lux 수준까지 달성했다. Dynamic Range 측면에서 일반적으로 인간 눈의 Intra-scene DR은 120dB, Inter-scene DR은 180dB이지만, 현재 스마트폰의 Intra-scene DR은 70dB, Inter-scene DR은 120dB로 지속적으로 개선이 진행 중이다.

이러한 특성에 영향을 미치는 가장 중요한 요소는 픽셀 크기와 해상도다. CIS의 해상도를 더 높이려면 픽셀 크기가 더 작아야 한다. 또한 동일한 해상도라도 더 작은 영역에 CIS를 구현하기 위해서는 픽셀 크기가 작아져야 한다. 관건은 픽셀 크기를 줄이면서 위의 특성을 동등하게 유지하는 것이다.

▲그림 2. 광 응답 특성 및 동적 범위 확장

픽셀 크기 및 해상도 경쟁은 언제까지 지속될까? 

인간의 눈은 정지 영상에서 중심부 기준 5억 7,600만 화소이고, 동영상은 약 800만 화소이다. CIS는 이 수준을 따라잡기 위해 계속 진화해 왔다. 픽셀 크기 약 1.12 um, 해상도 1,300만 화소에서는 발전 속도가 일부 주춤했으나, 최근에는 ‘쿼드 기술(Quad Technology, 동일한 색 필터로 2x2 픽셀들을 병합하는 기술)’을 도입하면서 픽셀 크기는 0.7um까지 빠르게 축소됐고, 해상도도 6,400만 화소 수준에 도달하는 등 개발 속도가 다시 한번 가속화됐다.

현재는 노나(Nona)(3x3) 및 QxQ(4x4) 기술을 통해 픽셀 크기가 0.6Xum 수준까지 진화됐다. 결과적으로 픽셀 축소 기술이 발전하면서 최근에는 해상도 1억 800만 화소의 센서가 출시됐고, 이제 해상도 2억 화소의 카메라도 곧 출시될 것으로 기대된다.

동영상에는 고해상도가 필요하지 않기 때문에 픽셀 바인딩 기술1)이 적극적으로 채택됐다. 이제 이를 통해 카메라 비디오 녹화 시 4K(4000X2000: 800만 화소)를 60fps로 끊김 없이 지원할 수 있다. 픽셀 바인딩 기술을 사용하면 카메라가 비디오에서 큰 픽셀의 특성을 유지해 탁월한 저조도 감지(low-light sensitivity)와 동적 범위(dynamic range)를 제공할 수 있다. 미래에는 극저조도(ultra-low light) 특성, 동적 범위 확장 기술, 빠른 자동 초점과 같이 고객에게 부가가치를 제공하는 기능이 비디오 녹화에 추가될 것으로 예상된다.

1) 픽셀 바인딩 기술: 4개의 픽셀에서 나온 데이터를 하나로 결합하는 기술

▲그림 3. 저조도 SNR 및 DR 확장 기술

픽셀 크기 축소(px Size Shrink)를 포함한 면적 축소는 모든 반도체 회사의 숙명이다. 이에 더 작은 면적에서 동일한 특성을 유지하기 위해 소자 및 공정 기술 개발에 많은 노력이 집중돼 왔다. 이러한 기술 중에는 △포화 용량(Full Well Capacity)을 향상시키면서도 전하 전송 효율을 유지하는 도핑 최적화 및 수직 전송 게이트 △노이즈를 줄이기 위한 Source Follower Engineering 및 다양한 설계 기술 △인접 픽셀 간의 간섭 노이즈 최소화를 위한 컬러 필터 분리 및 딥 트렌치 분리 기술 △두꺼운 에피층(epi layer)을 이용한 픽셀 감도 향상 또는 다양한 컬러 필터 관련 기술 등이 포함된다.

앞서 언급한 기술 덕분에 반도체는 이제 이미지를 보여주는 측면에서는 수백만 년 동안 진화한 생명체의 눈과 거의 동일한 성능을 확보했다. 그러나 에너지 효율성 측면에서는 여전히 개선할 사항이 있다. 현재 발전 중인 저전력 기술로는 대기 모드에서 최소 전력으로 실행되다가 필요할 때 전원을 켜거나(상시 작동 모드) 압축 감지 방식을 통해 전력을 최적화하는 기술 등을 주목할 만하다. 

▲그림 4. 픽셀 미세화 기술

Beyond the Eye

CIS는 적용 영역을 더욱 확장하고 있는데 그 대표적인 분야는 깊이 감지 기술이다. 사람의 눈은 양안 시차를 이용해 거리를 감지하는데, 초기에 개발된 CIS는 두 대의 카메라를 이용해 사람의 눈과 동일한 방식으로 거리를 감지하는 데 활용됐다. 그러나 정확도, 거리 확장성, 두 카메라 사이의 최소 거리 요건의 한계 등으로 인해 현재 다른 방법이 모색되고 있다.

이 방법은 ‘비행시간(ToF)’ 방식이라고 하며, 빛이 물체에서 반사된 후 되돌아올 때까지의 비행시간을 기준으로 거리를 측정한다. ToF는 직접 ToF(direct time-of-flight, dToF)와 간접 ToF(indirect time-of-flight, iToF)의 두 가지 유형으로 구분된다.

두 가지 방법은 작동 원리에 따라 각각 장단점이 있다. 간접 ToF 감지 방법은 아날로그 전하 축적의 작동 원리로 인한 원거리에서 신호의 감쇄 때문에 측정 가능한 거리 범위에 한계가 있다. 반면에 직접 ToF 감지 방법은 하나의 광자를 검출하는 셀(SPAD: Single Photon Avalanche Diode) 크기가 크고 각 셀에 판독 회로를 쌓아야 해, 해상도에 한계가 있다. 이러한 장단점으로 인해 각자의 장점을 활용할 수 있는 응용에 사용하거나 단점을 극복하려는 노력이 함께 이뤄지고 있다. 

▲그림 5. 비행시간(ToF) 센서의 작동 원리 및 적용 분야|

▲그림 6. SK 하이닉스의 첫 번째 ToF 센서(IR & Depth Image)

▲그림 7. iToF 및 dToF의 진화

아울러 빛의 넓은 스펙트럼을 바탕으로 자외선, 적외선, 근적외선, 단파 적외선을 활용해 CIS 적용 분야를 확대함으로써 풍요로운 인류의 삶에 기여하기 위한 방법도 모색되고 있다. 이러한 파장은 실리콘의 단점을 개선하기 위해 게르마늄(Ge), 인듐·갈륨·비소(InGaAs), 인화 인듐(InP)와 같은 대체 재료를 활용할 수 있는 기회를 제공한다. 또한 다중 및 초 분광(hyperspectral) 영상 또는 편광 센서도 이에 기여하기 시작했다.

▲그림 8. 적용 분야의 확장

또한 사회와 산업 전반에서 널리 채택되고 있는 인공지능(AI)도 이 분야에 기여하고 있다. 초기 단계에서는 이 기술이 이미지 자체를 개선하기 위해 노이즈 감소 또는 해상도 향상에 중점을 두었다면, 이제는 그 용도가 사물 인식 및 보안 영역으로 확대되고 있다. 카메라의 등장으로 사회 곳곳에서 사생활 보호에 대한 우려로 이어지고 있기 때문. 가장 중요한 것은 안전과 보안에 관련된 데이터만 서버에 전송하고, 그 외의 다른 데이터의 노출을 방지하는 것이다 (‘big brother’의 출현 방지). 이로 인해 AI 기능이 Edge Device로 이동하게 돼 사물 인터넷 (IoT) 장치 간의 데이터 전송을 줄임과 동시에 절전도 가능하게 한다. IR 데이터의 사용과 이벤트 기반 센서의 출현도 이 방향과 맥락이 같다고 볼 수 있다.

이러한 응용에 더해 다양한 기기의 융합 및 통합과 함께 HMD(Head Mounted Display) 및 AR/VR 안경과 같은 새로운 웨어러블 디바이스(Wearable Device), 자율 주행 차량, 로봇, 드론에 적용되는 다양한 센서 또한 개발될 것이다.

CIS의 진화는 이미지 전달 기술에 국한되지 않고 다양한 빛의 정보를 감지함으로써 우리 삶을 더 편리하고 안전하게 변화시키기 위해 계속 발전될 것이다. SK하이닉스는 이러한 기조에 발맞춰 지속적으로 기술 개발에 전념하고 있다. 엔지니어로서 다양한 제품을 만드는 기술과 함께 사회적 가치를 더하는 일까지 많은 기회가 주어진 CIS 개발에 더 많은 인재들과 함께 일할 수 있기를 기대한다.

<참고문헌>
그림 7
1) 출처: Sunscreenr.com
2) 출처: LA View Security blog
3) 출처: Cyth Systems Inc.
4) Halicek M, Fabelo H, Ortega S, Callico GM, Fei B. 초분광 영상 기술을 통한 체내 및 체외 조직 분석(In-Vivo and Ex-Vivo Tissue Analysis through Hyperspectral Imaging Techniques): 밝혀지지 않은 암의 특징 규명(Revealing the Invisible Features of Cancer). 암(Cancers). 2019; 11(6):756. https://doi.org/10.3390/cancers11060756
5) Zvanovec, S, Chvojka, P, Haigh, P & Ghassemlooy, Z 2015, '5G를 향한 가시광선 통신(Visible Light Communications towards 5G)', Radioengineering, vol. 24, no. 1, pp. 1-9.