제3시선, 최고가 최고를 만나다
‘제3시선, 최고가 최고를 만나다’는 최고의 ICT 업계 전문가들이 서로의 시선에서 공통의 주제를 이야기하며 세상을 바라보는 새로운 시선을 넓혀가는 연재 콘텐츠입니다. ICT 분야의 최고 전문가와 최고의 ICT 기술을 만들어 내는 SK하이닉스 구성원 간의 만남. 기존 인터뷰 콘텐츠에서 볼 수 없었던 이야기를 만나볼 수 있습니다.
이번 시리즈는 국내 최고의 인공지능 전문가인 정지훈 대구경북과학기술원(DGIST) 겸임교수와 SK하이닉스 구성원(권용기 PL, 김성재 PL, 류동일 TL, 주영표 부사장)들이 만나 미래를 변화시킬 인공지능 기술과 반도체를 주제로 총 4편으로 구성될 예정입니다.
인공지능의 역사와 비즈니스 모델에 살펴본 지난 편에 이어 이번 편에서는 인공지능을 위한 반도체에 대한 이야기를 담았습니다. 상상으로만 가능했던 인공지능이 현실이 될 수 있게 만든 반도체는 무엇일까요? SK하이닉스와 인공지능, 그리고 인공지능 반도체에 대한 본격적인 이야기, 지금부터 시작합니다. (편집자 주)
현실이 된 인공지능, 이를 가능케 한 반도체
인공지능(AI, Artificial Intelligence)은 어떻게 대중적인 기술이 됐을까?
다양한 분야에서 활용되고 있는 인공지능이지만 불과 몇 년 전만 해도 인공지능이라는 기술은 공상과학과도 같았다. SF영화나 소설 속에서만 존재했던 인공지능이 불과 몇 년 지나지 않아 이처럼 다양한 분야에서 널리 사용될 것이라고 예상한 사람은 그리 많지 않을 것이다. 인공지능이 이렇게 빨리 스스로 문제의 답을 찾고 인간의 언어를 사용할 수 있게 된 비결 무엇일까? 이번 대담을 통해 그 답을 찾고자 한다.
우리는 앞선 대담을 통해 인공지능의 시작과 세 차례의 인공지능 붐에 대해 알아봤다. 1950년대 인공지능이라는 개념이 생겨난 이후 머신 러닝(Machine Learning)과 인공 신경망이 주목받는 등 인공지능에 대한 기대감이 컸던 시기가 있었다. 하지만 이 모든 시기에서 인공지능은 기술력 부족, 데이터 부족 등 한계에 부딪히며 침체기를 겪었다.
여러 차례의 침체기에도 불구하고, 오늘날 인공지능이 널리 사용될 수 있도록 만든 주요한 이유는 무엇일까? 정지훈 교수와 SK하이닉스 구성원들은 이에 대해 반도체 등 하드웨어의 발전이 큰 역할을 했다고 입을 모았다. 인공지능의 발전과 대중화를 만들고 있는 반도체에 대한 이야기, 함께 들어보자.
▲ 류동일 TL, 정지훈 교수, 권용기 PL, 주영표 부사장, 김성재 PL(좌측부터)이 인공지능의 발전과 반도체의 발전은 떼어놓을 수 없는 관계라는 이야기를 나누고 있다.
인공지능을 실현할 수 있었던, 기술 ‘반도체’
정지훈 교수 본격적으로 인공지능 반도체에 대한 이야기를 나눠볼까 합니다. 앞서 함께 ‘2022 SK 테크 서밋(이하 테크 서밋)’에서 SK하이닉스가 개발하고 있는 다양한 인공지능 반도체를 살펴봤는데요. 인공지능의 발전과 반도체의 발전이 떼어놓을 수 없는 관계라는 점을 생각해 봤을 때 개인적으로는 SK하이닉스가 개발하고 있는 다양한 제품들은 아주 흥미로웠습니다. 각자 생각하시는 인공지능 반도체에 대한 의견을 말씀해주시겠어요?
권용기 PL 인공지능을 발전시킨 다양한 기술이 있겠지만, 하드웨어 관점에서 접근해본다면 결국 더 많은 데이터를 더 빠르게 처리할 수 있도록 하는 반도체의 발전이 큰 영향을 끼쳤다고 볼 수 있습니다. 방대한 양의 데이터를 학습시키는 머신러닝과 머신러닝의 다양한 방법 중 하나이자 3차 인공지능 붐을 불러온 딥러닝을 구현하기 위해선 더 많은 데이터를 더 빠르게 처리할 수 있는 메모리 반도체는 꼭 필요했습니다.
정지훈 교수 맞습니다. 물론, 우리가 현재 컴퓨터나 스마트폰과 같은 모바일 디바이스에서 사용하는 D램과 낸드플래시가 그대로 인공지능에 사용되는 것은 아니지만, 지금의 인공지능이 구현되기까지 반도체의 발전이 중요했다는 것은 부정할 수 없습니다. 특히 최근에는 그래픽카드의 GPU*등이 빠르게 발전하면서 인공지능 붐을 이끌고 있다는 것만 봐도 인공지능의 발전에 있어 하드웨어가 얼마나 중요한지 알 수 있죠.
* GPU(Graphics Processing Unit) : 초기 GPU는 단순히 CPU의 연산 결과를 그림이나 글자 신호 등으로 변환해 송출하는 보조 부품으로 인식됐지만, 3D(3차원) 게임이 등장하면서부터 3D 그래픽의 전용 프로세서로 개발됐다. 더 빠르고 더 많은 3D 구현을 목적으로 병렬방식의 데이터 처리 성능이 향상되면서 지금은 게임을 넘어 더 많은 영역에서 활용되고 있다.
김성재 PL 그렇죠. 어떻게 보면 우연의 일치일 수는 있겠지만, GPU가 발전하면서 GPU를 활용하는 인공지능도 함께 발전했죠. 실제로 많은 GPU가 인공지능 알고리즘을 구현하기 위해 사용되고 있는 상황이기도 합니다.
주영표 부사장 GPU가 최근 주목받는 이유는 인공지능 알고리즘의 데이터 연산 방식의 영향 때문인데요. 인공지능 연산을 살펴보면, 방대한 데이터에 대한 수많은 계산들을 통해 의미 있는 결론을 도출하는 것이잖아요. 더 빠르게, 보다 정확한 결과를 도출하기 위해 최대한 많은 데이터를 동시에 처리하는 것이 중요하죠. 데이터 처리가 주 역할인 메모리 반도체가 중요할 수밖에 없는 이유입니다.
정지훈 교수 이와 관련해 최근 SK하이닉스에서 GPU의 성능을 끌어올릴 프리미엄 메모리 반도체 양산에 돌입했다고 알고 있는데요. 무엇인가요?
주영표 부사장 올해 중순부터 프리미엄 D럠인 HBM3*를 양산하기 시작했습니다. 해당 제품은 글로벌 GPU 기업인 엔비디아(NVIDIA)에 공급하고 있는데요. HBM은 여러 개의 D램을 수직으로 연결해 기존의 D램 대비 혁신적인 속도향상을 이끌어낸 제품입니다. HBM3는 이전 세대인 HBM2E(3세대)와 비교하면 무려 78%의 성능향상을 이뤄내기도 했죠.
* HBM3(High Bandwidth Memory 3) : 4세대 HBM 제품으로 여러 개의 D램을 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올렸다.
인공지능 등장으로 변화하는 패러다임
정지훈 교수 앞서 GPU가 주목받는 이유에 대해 잘 설명해 주셨는데요. 사실 인공지능과 관련해 시장에서 GPU에 주목하는 이유는 단순히 빨라진 속도 때문만은 아닙니다. 3차원 그래픽을 연산하는 것과 딥러닝의 연산 구조는 결국은 행렬 연산이 핵심이니까요. 그 덕분에 그래픽을 처리하기 위해 행렬 연산에 특화된 반도체가 발전하게 됐고, 자연스럽게 비슷한 연산 방법을 사용하는 인공지능까지 발전한 것이죠. 농담 삼아 하는 이야기이긴 한데, 게이머들 덕분에 인공지능 혁명이 일어난 것 아닌가 생각이 들기도 합니다.
류동일 TL 정말로 그럴 수도 있겠네요. 인공지능에 대한 기대감이 높아지면서 반도체 분야에서도 새로운 패러다임이 나타나고 있는 것 같아요. 더 많은 데이터를 빠르게 처리할 수 있는 성능향상에 초점을 맞춘 형태와 반도체에 각각의 연산 기능을 담은 형태로 말이죠. 주영표 부사장님이 말씀해주신 HBM3가 혁신적으로 빠른 속도의 D램으로 ‘고성능’에 초점을 맞춘 반도체라면 더욱 넓은 영역에 인공지능을 활용할 수 있도록 만드는 다양한 형태의 ‘인공지능 반도체’가 개발되고 있는 상황입니다.
정지훈 교수 맞습니다. 인공지능이 중요해지면서 최근 ‘인공지능 반도체’라는 표현이 많이 사용되고 있잖아요. 인공지능 반도체라 하면 여러 종류가 있겠지만, 기존 컴퓨팅 시스템이었던 폰 노이만 구조*에서 벗어나 각각의 모듈에 연산 처리 기능을 도입한 반도체들을 예로 들 수 있을 것 같아요.
* 폰 노이만 구조 : 주 기억 장치, 중앙 처리 장치, 입출력 장치 등 3단계 구조로 이뤄진 프로그램 내장형 컴퓨터 구조, 오늘날 사용하고 있는 대부분 컴퓨터의 기본 구조로 나열된 명령을 순차적으로 수행한다. 메모리의 값을 읽고 쓰는 구조이기 때문에 메모리 장치에서 병목현상이 발생한다는 한계가 있다.
류동일 TL 맞습니다. 저희가 개발하고 있는 iCIS 역시 인공지능 반도체를 필요로 합니다. 앞서 설명 드리자면 CIS(CMOS Image Sensor)는 카메라 센서 반도체인데요. 카메라 센서는 인공지능의 발전과 함께 많은 주목을 받고 있는 분야입니다.
정지훈 교수 아무래도 최근 스마트폰이나 CCTV 등을 통한 얼굴인식이나 자율주행 자동차에 사용되는 차량 주변 물체 인식 등 최근 카메라가 활용되는 곳이 아주 많아졌기 때문에 고성능 카메라 센서에 대한 수요도 많아지기는 했죠.
류동일 TL 카메라 센서도 인공지능의 발전과 함께 빠른 속도로 발전하고 있는데요. 기존의 카메라 센서인 CIS에 인공지능 기능을 도입한 iCIS 역시 이런 발전의 일환입니다. 기존 카메라 센서의 경우 단순히 빛을 받아 디지털 신호로 바꿔 이미지를 만드는 기능만 수행했는데요. 저희가 개발하고 있는 iCIS는 카메라 센서 차원에서 인물의 얼굴을 인식한다거나 특정 모션을 분석하는 기능이 탑재된 제품입니다.
사실 ‘카메라 센서에 이런 인공지능 반도체가 왜 필요한가’라는 질문을 받기도 하는데요. 우리가 지금 인공지능을 구동할 GPU를 사용한다고 하면 컴퓨터에 들어있는 그래픽 카드는 아주 거대하거든요. 결국 인공지능을 구현하기 위해 거대한 GPU를 필요로 한다는 것은 인공지능 범용성의 한계로 작용할 것입니다. 이런 한계를 넘어서기 위한 방안 중 하나가 인공지능 반도체이고, 그렇기 때문에 ‘굉장히 작은 칩 안에서 인공지능 기능을 수행하는 iCIS’가 필요한 것이죠.
권용기 PL 아무래도 카메라는 스마트폰에 적용되든 CCTV에 적용되든 더 작고 더 가볍게 만들어야 하기 때문에 iCIS가 더 중요해지는 것이군요. 기존의 카메라처럼 더 좋은 이미지를 촬영하는 것은 기본이고, 이 이미지 데이터를 어떻게 더 스마트하게 처리할 수 있는가? 그리고 이러한 기능을 하면서도 경량화할 수 있는가에 초점이 맞춰져 있는 것이겠군요.
▲ 2022 SK 테크 서밋에서 iCIS 전시 제품을 살펴보고 직접 시연하고 있는 권용기 PL, 류동일 TL, 주영표 부사장, 정지훈 교수, 김성재 PL(좌측부터)
류동일 TL 맞습니다. 그뿐만 아니라 카메라 센서 자체에 인공지능 연산이 가능한 기능을 포함하면 아무래도 센서와 디바이스 사이에서 데이터가 이동해야 하는 일도 줄어들 것이고, 데이터의 이동을 최소화하면서 자연스럽게 저전력 반도체를 구현할 수도 있습니다.
정지훈 교수 인공지능이 방대한 양의 데이터를 처리해야 하는 기술이다 보니 기존의 컴퓨팅 기술로는 분명 한계가 발생하는 것이겠죠. 말씀해주신 iCIS 역시 이러한 이유로 더욱 주목받을 것 같네요. 수없이 많은 이미지 데이터를 연산 장치로 가져와 연산하고 결과를 도출하는 것보다 촬영과 동시에 데이터를 연산하는 것이 아무래도 효율적이니까요. 결국 인공지능 반도체는 각각의 반도체가 각자 연산하는 모습으로 구현되겠네요.
달라진 연산 방법, 인공지능 위해 메모리 반도체도 이젠 연산 필요해
▲ 차세대 메모리 PIM이 적용된 GDDR6-AiM의 뛰어난 기술력과 그 활용 가치에 대해 설명하고 있는 권용기 PL과 이야기를 듣고 있는 정지훈 교수, 김성재 PL
권용기 PL 올해 초 저희가 샘플 개발에 성공한 ‘GDDR6-AiM’ 역시 인공지능 반도체라고 부를 수 있을 것 같습니다. 차세대 메모리 반도체인 PIM*인 GDDR6-AiM(Accelerator in Memory)는 16Gbps의 속도로 데이터를 처리하는 GDDR6* 메모리에 연산 기능을 갖춘 아주 똑똑한 반도체입니다. GDDR6-AiM의 경우 제품명에서 알 수 있듯 그래픽 D램이긴 하지만 개발 단계에서부터 인공지능 응용을 목적으로 개발된 제품으로 GPU뿐 아니라 NPU*에서도 사용이 가능한 제품입니다.
* PIM(Processing In Memory) : 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅 데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* GDDR(Graphics DDR) : 국제반도체표준화기구(JEDEC)에서 규정한 그래픽 D램의 표준 규격 명칭. 그래픽을 빠르게 처리하는 데 특화한 규격으로, 3-5-5X-6 순으로 세대가 바뀌었다. 최근에는 그래픽을 넘어 인공지능, 빅데이터 분야에서도 가장 대중적인 메모리로 주목받고 있다.
* NPU(Neural Processing Unit) : 신경망처리장치로, 머신러닝 구동에 최적화된 프로세서. 소프트웨어를 통해 인공신경망을 만들어 학습해야 하는 GPU와 달리 하드웨어 칩 단위에서 인공신경망을 구현하고자 했다.
정지훈 교수 테크 서밋에서 살펴봤던 그 제품이군요. 시연 제품을 보니 GPT-2*를 활용했을 때 일반 CPU와 비교해 2배 이상 빠르게 결과를 도출해내는 것을 확인했는데요. GDDR6-AiM은 어떻게 더 빠른 인공지능 구동에 도움을 줄 수 있는 것인가요?
권용기 PL 높은 대역폭 때문입니다. 보통 우리가 대역폭을 고속도로와 많이 비교하잖아요. 대역폭이 높을수록 차선이 많은 고속도로라고 이야기하는데요. 지금까지의 메모리 대역폭이 1차선 고속도로였다면 GDDR6-AiM은 16차선 고속도로 수준입니다. 동시에 전송할 수 있는 데이터의 수가 기하급수적으로 늘어났으니 당연히 데이터 처리도 빠를 것이고 병목 현상도 줄어들겠죠.
또한, GDDR6-AiM은 각 메모리 뱅크*마다 연산을 수행하는데요. 이로써 내부 대역폭을 활용한 독립적인 메모리 뱅크들의 병렬 연산이 가능해지는 것입니다. 엄청난 혁신이죠. 고속도로 차선이 늘어났다고 하더라도 사람 한 명당 차 한 대씩 타고 고속도로를 이용하면 결국 정체가 생길 수 있잖아요.
하지만 GDDR6-AiM은 각 뱅크에 연산기를 설치해 메모리 차원에서 데이터의 연산을 진행하고 연산이 된 결과 데이터를 묶어 한 번에 전송할 수 있습니다. 고속도로를 이용하는 사람들이 버스를 타고 한 이동하는 것이라고 생각하면 이해가 쉬울 것 같은데요. 모든 사람들이 버스를 타고 이동하면 그만큼 많은 사람이 정체 없이 이동할 수 있듯, GDDR6-AiM 역시 메모리 차원에서 병렬 연산을 통해 한 번에 많은 데이터를 전송하는 것입니다.
* GPT-2(Generative Pre-trained Transformer-2) : OpenAI에서 만든 텍스트 생성 딥러닝 인공지능 모델. 제시된 단어를 고려해 다음 단어를 입력하여 문장을 만드는 것을 목적으로 훈련된 모델입니다. 이는 인공지능이 수많은 데이터를 학습하면 다양한 질문과 답변이 가능하여 대화형 인공지능 서비스에 활용됩니다.
* 메모리 뱅크(Memory Bank) : 데이터가 프로세서에 지속적으로 전송될 수 있도록 순차적으로 작동하는 메모리 장치 내부의 분할된 구역. 메모리와 연산 장치 사이의 데이터 전송을 빠르게 하기 위해 사용된다.
▲ 2022 SK 테크 서밋에 전시되어 있는 GDDR6-AiM 제품 실물과 GDDR6-AiM을 장착한 서버 PC에서 텍스트 생성 딥러닝 인공지능 모델인 GPT-2가 시연되는 모습
정지훈 교수 최대한 많은 데이터를 한 번에 많이 전송할 수 있다는 것이 강점인 것 같군요. 게다가 데이터가 하나씩 개별적으로 이동해 연산하는 것이 아니라 메모리 자체에서 연산할 수 있도록 했다는 점도 훌륭하네요.
주영표 부사장 저희는 조금 다른 관점으로 인공지능에 접근했는데요. 메모리 자체에 연산 기능을 도입하는 것이 아니라 메모리 컨트롤러에 연산 가속 기능을 넣는 쪽을 선택했습니다. 이러한 개발의 결과물이 오늘 함께 살펴본 CXL*과 CMS*입니다. 특히 CMS는 흔히 PNM*이라고 불리는 기술인데요. 이라는 새로운 인터커넥트 기술이 메모리 용량을 유연하게 증가시켜 메모리와 GPU, 인공지능 가속기 등을 모두 탑재할 수 있다는 점에 주목하고, “그들을 하나의 솔루션에 담으면 어떨까?”라고 접근한 것이죠.
CXL 인터페이스를 기반으로 개발한 CMS는 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석이나 머신러닝과 같은 인공지능 분야의 연산까지 제공하기 때문에 인공지능 분야에서도 다양하게 활용될 수 있다고 생각합니다. GPU나 인공지능 가속기들과는 주력 기능이 다르기 때문에, 상호 보완적으로 적용도 가능할 것입니다.
* CXL (Compute eXpress Link): 메모리뿐만 아니라, GPU, AI 가속기와 같은 다양한 솔루션을 보다 효율적으로 통합, 활용할 수 있도록 만들어진 새로운 인터커넥트 기술로 ‘메모리 용량의 유연한 증가’가 장점
* CMS (Computational Memory Solution) : 고용량 메모리를 확장할 수 있는 CXL에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 분석 연산 기능도 함께 제공하는 솔루션
* PNM(Processing Near Memory) : 메모리 칩 내부가 아닌 메모리 패키지에 별도의 연산 장치를 넣고 필요한 연산을 수행하는 메모리
▲ 2022 SK 테크 서밋 전시장에 전시되어 있는 CMS에 활용되고 있는 CXL의 기술력과 활용 가치에 대해 설명하고 있는 주영표 부사장
정지훈 교수 PIM 기반의 GDDR6-AiM이 메모리 자체에 연산 기능을 도입한 제품이라면 CMS는 메모리와 연산 장치를 통합한 솔루션이라는 것이군요.
주영표 부사장 네 맞습니다. CXL과 CMS는 PIM과 달리 메모리 연산의 포인트를 데이터의 ‘준비’ 과정에 맞추고 있는 것인데요. 많은 데이터 중 실제로 필요한 데이터만을 뽑아내는 일은 연산 장치 입장에서는 쉽겠지만 굉장히 비효율적인 일이잖아요. 데이터를 하나하나 확인하느라 대부분의 시간을 허비하게 되니까요. 그래서 메모리 차원에서 연산 장치가 필요한 데이터가 무엇인지 미리 찾아준다면, 연산 장치는 더 복잡하고 중요한 연산에 집중할 수 있게 되는 것이죠. 게다가 이러한 구조는 불필요하게 이동하는 데이터를 획기적으로 줄일 수 있는데요. 이는 결국 전력 소비를 절감하는데도 큰 효과를 보일 수 있습니다.
▲ 2022 SK 테크 서밋에 전시되어 있는 CXL의 구조 설명과 퍼포먼스, CXL을 활용한 솔루션, CMS의 구조가 소개되고 있는 모습
정지훈 교수 이야기를 들어보니 SK하이닉스가 인공지능에 대해 얼마나 진심인지를 다시 한번 느끼게 됐습니다. 지금까지 말씀해주신 제품들 모두 다가올 인공지능 시대를 앞당기거나 인공지능 시대에 아주 중요한 역할을 하게 될 것임을 느낄 수 있었습니다.
특히 더 빠르고 정확한 인공지능을 위해 제품의 성능 향상만 시도하는 것이 아니라, 기존 메모리 제품에 확장성을 부여하거나 새로운 기능을 추가하는 등 다양한 측면에서 개발을 이어 나가고 있다는 점이 인상적이었는데요. 이러한 다양한 접근들로 인해 인공지능 시대를 꽃피우는 SK하이닉스가 됐으면 좋겠습니다.
이번 대담을 통해 우리는 다가오는 인공지능 시대를 준비하는 SK하이닉스의 모습을 살펴봤다. 다양한 종류의 ‘인공지능 반도체’를 개발하고 생산하는 SK하이닉스는 다양한 측면에서의 혁신을 이뤄내고 있었다. 다음 편에서는 지금까지 다루지 못했던 ‘2022 SK 테크 서밋’에 대한 이야기와 인공지능 시대를 선도하기 위한 SK의 노력을 살펴보고자 한다. 인공지능 분야에서도 최초와 최고의 가치를 만들어내고 있는 SK하이닉스의 이야기는 계속된다.
