[반도체가 만드는 세상] 안경 속으로 들어온 가상현실(VR)

눈을 뜨자마자 안경을 쓰고 날씨부터 검색한다. 요즘 안경에는 가상현실(VR)1) 기능이 탑재돼, 밖에 나가지 않고도 바깥 날씨를 미리 체험해볼 수 있다. 모처럼 화창하고 선선한 가을 날씨, 벌써 기분이 상쾌해진다. 씻고 나와선 입고 나갈 옷을 골라본다. 예전엔 옷장에서 옷을 하나씩 꺼내 거울 앞에서 대봐야 했지만 이젠 안경으로 구현한 가상 드레스룸에서 옷을 입은 모습을 미리 확인할 수 있다. 몇 벌 입어보다 AI 비서의 추천 코디로 깔끔한 스타일 완성. 출근길 지하철 안, 구석에 자리를 잡고 지난주 열렸던 ‘최애’의 콘서트 현장으로 들어가본다. 언제 어디서나 쓰고 있는 안경으로 원하는 가상현실로 접속할 수 있어, 긴 출퇴근 시간도 이제 지루하지 않다

안경만 착용하면 가상세계로…VR 기능 탑재한 ‘스마트 안경’, 상용화 시기는?

일상에서 현실과 가상현실을 오가는 일상. 누구나 한 번쯤 상상해봤지만, 아직 현실에서는 실현 불가능한 미래의 기술이다. 지금도 PC나 스마트폰, 게임기 등에 연결된 VR HMD(Head Mount Display)2) 를 통해 간단한 실감형 게임이나 영상 콘텐츠 체험 정도는 쉽게 해볼 수 있지만, 언제 어디서나 가상현실 구현이 가능한 ‘스마트 안경’은 아직은 영화 속에서나 만나볼 수 있다.

그렇지만 스마트 안경을 아주 먼 미래에나 구현이 가능한 공상과학(SF)으로 치부하기도 어렵다. 4차 산업혁명 시대를 맞아 IT 기술이 빠르게 발전하면서 필요한 기술이 하나 둘 갖춰지고 있기 때문. 최근엔 글로벌 IT 기업들도 가상현실 산업에 적극적으로 진출하고 있어, 머지않은 미래에는 영화 속 스마트 안경을 현실에서도 사용할 수 있을 것으로 기대된다.

관련 시장 규모도 빠르게 성장할 것으로 전망된다. 영국 가상현실(VR/AR) 분야 전문 시장조사업체인 Digital Capital은 2016년 39억 달러이던 가상현실 분야의 세계 시장규모는 2022년 약 1,050억 달러 규모로 가파르게 성장할 것으로 내다봤다. 또 글로벌 시장조사기관 IDC 역시 관련 하드웨어(HMD) 출하량이 2017년 960만대에서 2021년에는 5920만대까지 증가할 것으로 내다봤다.

현재 스마트 안경 개발에 가장 적극적인 기업은 페이스북(Facebook)이다. 지난 2014년 HMD 개발 스타트업 오큘러스(Oculus) 인수 이후 꾸준히 제품 라인업을 늘려가며 VR HMD(Head Mount Display) 기반 하드웨어 플랫폼 개발 분야에서 시장을 선도하는 기업으로 도약했다. 최근에는 2025년 상용화를 목표로 차세대 스마트 안경(코드명 오리온) 개발에도 착수했다. 마크 저커버그(Mark Zuckerberg) 페이스북 CEO는 앞서 2017년 연례개발자회의에서 “5~7년 후에는 스마트 안경이 스마트폰을 대체할 것”이라고 전망한 바 있다.

▲ HTC VR HMD '바이브 프로'(사진제공 : HTC VIVE 공식유통사 제이씨현시스템)

최근 High-End VR HMD 시장에서 주목할 만한 행보를 이어오고 있는 HTC와 자사 게임 플랫폼 플레이스테이션(PS) 기반 VR HMD를 선보이고 있는 소니도 VR HMD 시장의 선두주자로 분류할 수 있다. 특히 HTC가 지난해 출시한 바이브 프로(Vive Pro)의 경우 해상도 2880X1600, 시야각 110도, 주파수 90Hz의 스펙을 갖춰, 가성비를 고려하지 않은 성능 측면에서는 현존 최고 사양의 VR HMD로 꼽힌다. 국내에서는 삼성전자가 오큘러스와 협업을 통해 스마트폰 기반 VR HMD ‘기어 VR(Gear VR)’을 서비스하며 관련 시장에 참여하고 있다.

▲영상출처 : Focals by North 유튜브

VR HMD 외 AR/MR3) 기반 EGD(Eye Glassed-type Display)4) 에 대한 기술개발도 지속적으로 이뤄지고 있다. 이 분야에서 가장 앞서 있는 기업으로는 매직리프(Magic Leap)와 마이크로소프트(Microsoft)를 꼽을 수 있다.

매직리프는 소형 프로젝터가 투명한 렌즈에 빛을 비춰 망막에 닿는 빛의 방향을 조정하는 ‘포토닉스 라이트 필드(Photonics light field)’ 기술 개발에 성공해, 가상의 객체를 현실 세계의 물체처럼 구현하는 MR EGD ‘매직 리프 원(Magic Leap One)’을 지난해 공개했다. 마이크로소프트 역시 올해 CES에서 차세대 AR EGD 홀로렌즈2(HoloLens2)를 공개해 시장의 기대감을 높였다.

다만 매직 리프 원은 아직 개발자용 제품만 출시돼 있고 마이크로소프트 역시 아직 일반 소비자보다는 기업용 AR EGD 시장 공략에 집중하고 있어, 상용화까지는 아직 시간이 더 필요할 것으로 예상된다.

스마트 안경의 프로토 타입 ‘HMD’의 현주소는?

통상 가상현실을 구현하기 위해 사용자의 양쪽 눈 앞에 볼록 렌즈를 배치하고, 이를 통해 초점을 조절해 외부 디스플레이에서 송출되는 영상에 입체감과 거리감을 부여하는 방식이 활용된다. 일종의 착시 효과를 통해 뇌가 가상의 영상을 실제 현실로 받아들이게 하는 것. 현재 기술 수준에선 사용자의 시야에서 현실 정보를 완전히 차단해야 몰입도를 높일 수 있어 시야를 완전히 가릴 필요가 있다. 또, 디스플레이 장치가 탑재될 공간과 렌즈와 디스플레이 사이에 초점을 조절할 수 있는 충분한 공간도 배치해야 한다. 이는 현재 상용화된 VR HMD들이 모두 고글(Goggle) 형태의 디자인을 채택하고 있는 이유다.

이런 고글 형태의 VR HMD는 일상에서 계속 쓰고 있기엔 지나치게 무겁고 불편하다. 안경 형태의 VR HMD로 발전하기 위해선 우선 센서, 배터리 등 주변 장치들의 경량화가 이뤄져야 한다. 또한, 초소형 장치로도 필요한 위치에 영상을 송출할 수 있는 광학 기술과 외부 구조물 대신 송출되는 영상으로 사용자의 시야 전체를 커버할 수 있는 디스플레이 기술의 발전 역시 필요하다.

하지만 현재의 광학/디스플레이 기술은 한계점이 명확하다. 사용자가 별도의 외부 정보 차단 없이 가상현실에 몰입할 수 있게 하려면, HMD에서 송출되는 영상의 FOV(Field of View, 시야각)가 인간의 최대 FOV인 220도를 안정적으로 커버할 수 있어야 한다. 하지만 현재 출시된 주요 HMD의 FOV는 High-end 제품조차 110도에 불과해, 인간의 평균 FOV인 120도에도 못 미친다.

또한 사용자가 송출되는 영상을 현실과 다름 없는 수준으로 체감하기 위해선 영상의 해상도 역시 현재 수준으로는 부족하다. 사용자의 몰입감을 극대화하기 위해서는 최소 4K(3840×2160) 이상의 고해상도가 요구된다.5) 특히 VR HMD의 경우 기존 디스플레이 대비 넓은 FOV로 영상을 확대해 보여주기 때문에, 픽셀이 깨져 보이는 SDE(Screen Door Effect)도 고려해야 한다6). 360도 VR의 경우 원본 영상의 해상도에 비해 체감 해상도가 현저히 떨어질 수 있다는 의미다. 이러한 문제를 해결하기 위해서는 최소 8K(7680×4320) 이상의 고해상도 영상이 필요할 것으로 예상된다.

장기간 VR HMD 이용 시 발생할 수 있는 3D 멀미를 최소화할 수 있는 안정적인 디스플레이 재생 빈도(주파수)도 확보해야 한다. 업계선 최적의 VR 기술 구현을 위한 디스플레이 재생 빈도를 120Hz 수준으로 정의하고 있으나7), 현재 출시된 유기발광다이오드(OLED) 기반 제품의 경우 약 90Hz 수준에 머물러 있다.

아울러 사용자의 움직임을 실시간으로 감지해 올바른 위치에 적절한 영상을 송출할 수 있는 센서 기술과 이를 뒷받침할 수 있는 통신 속도 역시 스마트 안경의 필수조건. 최근 5G 시대가 본격적으로 시작되면서 가상현실 관련 기술 개발이 활발해진 것 역시 이와 무관하지 않다. 이와 함께 위치 추적, 장애물 식별 등 일상에서 발생할 수 있는 변수를 제거할 수 있는 트래킹 기술의 발전도 요구된다.

스마트 안경 상용화의 전제조건 ‘반도체 기술 발전’

스마트 안경 상용화에 있어 반도체 기술 발전도 매우 중요한 요소 중 하나. 영상 해상도가 좋아지고 디스플레이 기술이 발전해도, 이를 구현할 반도체 성능이 뒷받침되지 않으면 스마트 안경 상용화는 요원하기 때문. 실제 반도체 업계에서도 가상현실 분야를 선도할 기술 확보를 위해 다양한 노력들이 이뤄지고 있다.

▲ 퀄컴 AP 스냅드래곤 시리즈(사진제공 : 퀄컴)

AP(Application Processor) 분야에서는 퀄컴(Qualcomm)이 독보적이다. 현재 판매 중인 Standalone VR HMD 중 High-end 제품으로 분류되는 페이스북의 오큘러스 퀘스트와 HTC의 바이브 포커스(Vive Focus) 모두 퀄컴의 스냅드래곤 835를 AP로 채택하고 있을 정도. 인텔(Intel)은 고성능 CPU ‘코어 X 시리즈’를 앞세워 PC 연계 VR HMD 기반 전문가용 VR 시스템 시장을 적극 공략하고 있다. 또한 2016년 인수한 VR 스타트업 보크(Voke)의 트루 VR 테크놀로지(True VR Technology)과 자사 컴퓨팅 기술을 적극 활용해 VR을 활용한 스포츠 중계 사업영역을 적극적으로 개척해가고 있다.

AMD는 VR 전용 솔루션 ‘리퀴드 VR(Liquid VR)’과 VR인증 프로그램 ‘AMD VR 레디 프리미엄/크리에이터(AMD VR Ready Premium/Creator)’를 양 축으로 GPU 분야 글로벌 VR 시스템 시장 공략에 집중하고 있다. 2017년에는 VR용 무선 칩 제조 스타트업 니테로를 인수해 기술 확보에도 적극적인 모습을 보여주고 있다.

메모리 반도체의 기술발전 역시 스마트 안경 구현의 필수조건이다. 메모리 반도체는 VR 영상 제작/저장, 기기 내 저장공간 확보, 전송 받은 영상의 디스플레이 장치 송출까지 사용자에게 실감 나는 VR 환경을 제공하기 위한 전 과정에 관여하고 있기 때문. 특히 대용량 8K 영상 데이터를 실시간으로 전송 받아 사용자에게 안정감 있게 보여주기 위해선 고성능 그래픽 D램 개발이 필수적이다.

일반적으로 Full HD(2K)의 경우 한 장의 영상이 차지하는 데이터의 크기는 약 9.5Mbyte. 8K(UHD)의 경우 16배까지 용량이 증가한다8). 뿐만 아니라 눈에서 가까운 곳에 영상을 확대해서 보여주는 VR 영상의 특성상 VR 영상은 일반적인 UHD급 영상 대비 약 4배 많은 데이터를 소비한다9). 산술적으로 일반 Full HD의 최소 64배의 데이터를 실시간으로 처리할 수 있어야 한다는 의미다.

이러한 조건을 갖추기 위해선 VR지원 시스템에 들어가는 그래픽 D램의 성능이 얼마나 더 발전해야 할까? SK하이닉스의 자체 추산결과에 따르면 그래픽 D램이 8K 이상 고해상도, 90fps 이상의 초당 프레임 수 기준 최소 20Gbps 이상의 처리속도를 갖춰야만 8K 영상을 끊김 없이 안정적으로 처리할 수 있을 것으로 예상된다. 가장 최근에 출시된 그래픽 D램인 GDDR6과 같은 높은 Speed의 그래픽 D램이 필요하다. 또, HMD기기 자체에서 채용될 메모리 반도체의 경우, 안경테 안에 들어갈 만한 크기의 초소형 칩에서 빠르게 데이터를 처리하기 위해 효율적인 설계뿐만 아니라 낮은 전력소모 구현 역시 중요하다.

SK하이닉스 DRAM상품기획 담당 내 Graphic&Auto기획 소속 정서영 TL은 “앞으로 VR 구현 기술이 고도화 되고 적용 분야도 확대됨에 따라 처리해야 할 데이터 역시 기하급수적으로 늘어날 것으로 전망된다”며 “SK하이닉스는 이러한 미래 시장에 대응하기 위해 높은 Bandwidth 구현 및 전력소모가 낮은 메모리 반도체 개발에 꾸준한 투자를 진행하고 있다”고 설명했다.

<각주>
1) Virtual Reality. 실제 정보를 완전히 차단한 상태에서 3D 그래픽으로 구축된 가상의 현실을 제공하는 기술
2) 머리에 착용하는 디스플레이 장치. 주로 가상현실 구현을 위해 시야 전체를 가리는 몰입형 디스플레이 형태로 디자인된다.
3) Augmented Reality/ Mixed Reality. 증강현실(AR)은 현실 세계 위에 컴퓨터 그래픽으로 제작된 영상을 투영하는 기술. 혼합현실(MR)은 현실 세계와 가상의 정보를 융합해 실제 환경에 가상의 세계를 구현하는 기술.
4) 안경처럼 착용하는 디스플레이 장치. 시야를 완전히 가리는 몰입형 HMD와 구분해, 시야를 가리지 않고 현실 정보 위에 가상의 그래픽 정보를 제공하는 형태의 기기를 표현할 때 주로 사용되는 용어.
5) 임상우∙서경원, ‘기술동향브리프 : AR/VR 기술’, 한국과학기술기획평가원(2018)
6) 최원희∙김세훈∙이민우, ‘디스플레이 화질의 진화 : 디스플레이 중심에서 인간 중심으로’, 한국정보디스플레이학회(2016)
7) 변춘원∙이현구∙조현수∙조남성∙이정익, ‘초실감 AR/VR 구현을 위한 디스플레이 기술 개발 동향’, 한국전자통신연구원(2017)
8) 이정수∙윤기송, ‘8K급 고선명 콘텐츠 기술 및 산업 동향’ 한국전자통신연구원(2012)
9) 고윤전, ‘융합연구리뷰 4호 : 5G 이동통신 시대와 실감미디어’ 융합연구정책센터(2018)