피처폰에서 오늘날의 스마트폰에 이르기까지, 휴대폰은 다양한 기능을 갖춘 스마트 디바이스로 발전해 왔다. 특히 고성능 카메라 기능을 가진 스마트폰은 무거운 DSLR 카메라의 대안으로 인식되고 있다.
이 글에서는 SK하이닉스 HDR(High Dynamic Range)*기술의 타임라인과 함께, 그간 스마트폰 카메라의 성능을 끌어올리기 위한 회사의 노력을 소개하고자 한다.
* HDR(High Dynamic Range): 사진에서 동적 범위는 이미지의 가장 밝은 영역과 가장 어두운 영역 사이의 범위를 나타낸다. HDR은 이 동적 범위를 SDR(Standard Dynamic Range)에 비해 넓혀 대비와 색상을 더 섬세하게 표현해 사람의 눈으로 보이는 것과 최대한 가깝게 구현하는 기술이다.
▲ 2000년대 초반부터 현재까지 HDR 이미지 센서의 개발 타임라인
사진의 동적 범위(Dynamic Range)를 향상시키기 위한 노력
▲ HDR을 적용한 사진 vs 미적용한 사진
최근 스마트폰 카메라 센서의 기능과 구성은 DSLR 카메라에 버금가는 수준이다. 그러나 DSLR 카메라는 3~4μm(마이크로미터)의 픽셀 크기와 14bit 이상의 ADC(Analog-to-Digital Converter)*를 갖추고 있지만, 스마트폰 카메라는 스마트폰 크기의 제약으로 일반적으로 약 1μm의 픽셀 크기와 10bit ADC로 구성되어 있다. 이에 따라 저조도 환경에서의 이미지 품질과 동적 범위(Dynamic Range, DR) 측면에서 현재 스마트폰은 DSLR에 뒤처지고 있으며, CIS* 산업은 이를 개선하기 위해 노력 중이다.
* ADC(Analog-to-Digital Converter): 아날로그 신호를 디지털 신호로 변환하는 장치. bit가 높을수록 빛의 변화를 정확하게 감지해 더욱 선명하고 디테일한 이미지를 제공한다.
* CIS(CMOS Image Sensor): 빛의 색상과 강도를 전기 신호로 변환하여 처리 장치에 전달하는 센서. 스마트폰, 태블릿 등 디지털 기기의 ‘눈’ 역할을 한다.김민규
동적 범위는 FWC(Full Well Capacity)*와 TN(Temporal Noise)*의 비율로 정의되며, FWC를 높이거나 TN을 낮추는 방법으로 동적 범위를 향상할 수 있다. 그러나 이러한 방법은 픽셀 구조와 회로 개선 등 고도의 기술이 필요하기 때문에, 다양한 가격대의 스마트폰에 모두 적용하기에는 한계가 있다.
* FWC(Full Well Capacity): 수광면적, 빛을 수용할 수 있는 최대 면적 즉, 빛을 픽셀이 신호 품질의 저하 없이 보유할 수 있는 최대 전하를 의미한다. 만약 픽셀의 전하가 포화 상태를 초과하면, 전하는 ‘블루밍’이라고 불리는 효과로 인접 픽셀로 넘쳐흐를 수 있다.
* TN(Temporal Noise): 이미지의 밝기와 색상이 의도치 않게 다르게 변하는 현상. 이 현상은 하나의 픽셀로 들어오는 광자를 전자로 변환하여 디지털 값으로 생성하는 과정에서 발생한다.
▲ 동적 범위를 구하는 방정식.
하지만 SK하이닉스는 스마트폰의 픽셀 구조와 ADC를 유지한 채 ISP* 하드웨어 로직을 추가하여 동적 범위를 개선하는 방식으로 HDR 기술을 구현하고 있다. 이를 통해 스마트폰 가격과 무관하게 스마트폰에서 HDR 기능을 경험할 수 있도록 지원한다.
* ISP(Image Signal Processor): 디지털카메라, 휴대폰 등의 영상 처리를 주로 담당하는 미디어 프로세서의 일종. 디지털 이미지로 변환하고, 노이즈 감소, 자동 노출, 자동 초점, 자동 화이트 밸런스, HDR 보정, 이미지 선명화 등의 작업을 수행한다.
QHDR에서 DAG & iDCG HDR까지 - SK하이닉스 HDR 기술 개발의 역사
SK하이닉스의 HDR 기술은 2017년 QHDR 개발 이후 눈부신 발전을 이뤄냈다.
▲ 다양한 HDR 기술의 장단점을 보여주는 표
QHDR(2017년 개발)
QHDR(Quad-Sensor HDR)은 Quad CFA(Color Filter Array)*를 활용한 다중 노출 시간 기반의 HDR 기술이다. Quad CFA에 픽셀별 노출 시간을 패터닝한 단일 프레임 영상을 촬영하여, 이를 합성하여 동적 범위를 확장하는 방식이다. Quad CFA 기술이 발전하면서 고해상도 센서의 경쟁력을 높이기 위해 HDR 기능을 센서에 통합했고, 이를 통해 QHDR이 개발되었다. 그리고 QHDR의 합성 방식과 톤 매핑(Tone Mapping) 프로세스와 같은 기능을 센서에서 지원한다.
* CFA(Color Filter Array): 이미지 센서의 픽셀 위에 배치되어 색상 정보(R/G/B)를 포착하는 색상 필터. 최근에는 베이어(Bayer), 쿼드(Quad) 등 다양한 응용 기술을 결합한 고품질, 고기능 CIS 제품이 출시되고 있다.
▲ 센서 내 QHDR 블록의 개념도
sHDR(2018년 개발)
QHDR은 센서에 HDR 기술을 통합하여 구현했기 때문에 센서 자체에 상당한 하드웨어 리소스가 필요하다. 하지만 sHDR은 센서와 AP(Application Processor)*가 함께 동작해 품질과 동적 범위를 최적화하는 기술이다.
sHDR은 센서가 다양한 노출 시간으로 여러 이미지를 촬영해 AP로 전송하면 AP가 이를 합성하고 톤 매핑하여 HDR 이미지를 구현한다. 이때 센서는 여러 이미지를 빠르게 AP로 전송할 수 있어야 한다.
* AP(Application Processor): PC의 메인보드 칩셋 기능을 하나의 칩에 구현한 것으로, 모바일 기기 내 OS, CPU, 그래픽카드, 메모리 등 여러 장치의 칩과 기능을 모두 포함한다.
▲ sHDR에서 센서와 AP의 역할
iDCG-HDR(2021~2022년 개발)
QHDR과 sHDR은 여러 노출 시간으로 이미지를 촬영하기 때문에 움직이는 피사체를 촬영할 때 이미지의 왜곡(Motion Artifacts*)이 발생할 수 있다. SK하이닉스는 이 문제를 해결하기 위해 iDCG-HDR 기술을 개발했다.
* Motion Artifacts: 서로 다른 노출 이미지를 합성하는 과정에서 발생하는 이미지 왜곡 현상. 이는 카메라의 흔들림이나 피사체의 움직임으로 인해 발생한다. ‘ghosting artifacts’라고도 부른다.
DCG(Dual Conversion Gain)는 센서가 동일한 빛을 받아도 출력 밝기를 조절할 수 있는 혁신적인 기술이다. iDCG-HDR은 한 번의 노출 동안 다른 밝기로 촬영된 HCG(High Conversion Gain) 이미지와 LCG(Low Conversion Gain) 이미지를 하나로 합쳐 HDR을 구현한다.
센서는 두 프레임의 이미지를 합성하는 ISP를 지원하며, DCG 비율이 1:4인 경우 약 12dB의 동적 범위를 제공한다.▲ iDCG-HDR 블록의 개념도
DAG-HDR(2023년 개발)
iDCG-HDR은 QHDR과 sHDR보다는 이미지의 왜곡을 줄이지만, 물리적으로 고정된 CG(Conversion Gain)*를 사용하기 때문에 다양한 촬영 조건에서 동적 범위 개선에 제약이 있다. 또한 CG를 제어하기 위해 트랜지스터를 추가해야 하므로 제조 비용이 많이 드는 단점이 있다.
* CG(Conversion Gain): 이미지 센서의 출력 신호 레벨과 입력 신호 레벨의 비율. 이 비율은 입력 이미지와 출력 이미지 간의 정량적 대응을 보장한다.
DAG-HDR 기술은 서로 다른 AG(Analog Gain)*로 촬영한 두 장의 사진을 합성하여 HDR을 구현한다. 비록 최대 동적 범위는 iDCG-HDR보다 낮지만, 필요에 따라 조정할 수 있어 저가형 스마트폰에서도 HDR를 구현할 수 있다.
* AG(Analog Gain): 아날로그 신호를 디지털 신호로 변환하기 전에 증폭하여 더 높은 감도와 더 적은 노이즈를 제공한다.
DAG & iDCG HDR(2023년 개발)
DAG & iDCG HDR 기술은 DAG-HDR과 iDCG-HDR의 장점을 결합한 방식이다. 단일 노출 시간을 기반으로 한 HDR 기술로 사용자의 다양한 촬영 조건에도 이미지 왜곡을 최소화하고 동적 범위를 유연하게 늘릴 수 있다.
이 기술은 CG 비율이 1:4이고 AG가 16x일 때, 최대 36dB까지 동적 범위를 향상시킬 수 있다.
▲ DAG & iDCG HDR 블록의 개념도
앞으로 SK하이닉스는 다양한 촬영 조건에서 사진의 동적 범위를 향상하면서 이미지의 왜곡을 최소화하는 DAG & iDCG HDR 개발에 집중, CIS 기술을 고도화하여 모든 스마트폰 사용자가 HDR의 잠재력을 경험할 수 있도록 최선의 노력을 다할 것이다.
