SK하이닉스가 지난 6월 20일, 21일 양일간 대전광역시 카이스트(KAIST)에서 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육을 진행했다.
회사는 카이스트를 비롯해 국내 주요 대학교의 학부 및 대학원 수강생들을 대상으로 거대언어모델(LLM)*과 SK하이닉스의 PIM* 반도체인 AiM*에 대한 이론 및 실습 교육을 제공했다. 특히 이번 교육은 PIM 제품을 활용한 실습이 포함돼 강의 전부터 많은 관심을 끌었다.
* 거대언어모델(LLM, Large Language Model): 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당
* PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 AI와 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨
▲ 교육 자료로 활용된 AiMX의 실물 모습
이번 강의 주제인 PIM은 메모리 반도체에서 일부 연산을 수행해 데이터 이동을 최소화함으로써 데이터 처리 속도가 향상될 뿐만 아니라, 전성비(전력 대비 성능비)도 높아지는 특징이 있다. 따라서 AI와 빅데이터 등 방대한 양의 데이터 연산이 필요한 분야에서 많은 관심을 받으며, 기존 컴퓨팅 생태계를 혁신할 차세대 반도체로 각광받고 있다.
이에 SK하이닉스와 카이스트 PIM반도체설계연구센터는 하드웨어(Hardware)와 소프트웨어(Software)를 아우르는 PIM 전문가 양성을 위해 이번 교육을 기획했으며, 이를 계기로 앞으로도 더욱 많은 교육 프로그램을 추진해 미래 반도체 인재 양성에 힘쓰겠다고 밝혔다.
뜨거운 열의가 가득했던 교육 현장
이날 현장에는 SK하이닉스 PIM HW팀 김정빈, 신경철 TL이 강사로 나섰다. 강의를 듣는 수강생들의 열기는 때아닌 6월의 폭염만큼이나 뜨거웠다.
교육 첫날에는 ▲인공지능(AI)과 거대언어모델이란?(What is AI and LLM?) ▲챗봇 서비스는 우리에게 어떻게 제공될까?(How to serve Chatbot in the real world?) ▲SK하이닉스의 GDDR6-AiM과 AiMX(SK hynix’s GDDR6-AiM and AiMX) 등을 주제로 이론 강의가 진행됐다.
▲ 이론 강의를 진행한 김정빈 TL(첫 번째 사진)과 수강생들의 모습
AI와 LLM에 대한 기본 지식부터 LLM을 활용한 챗봇 서비스 구동 원리, 그리고 AI의 성능 향상을 위해 SK하이닉스의 AiM이 어떻게 작용하는지 다뤄졌다. 수강생들은 강의 내용을 부지런히 정리하며 수업에 집중했다. 특히, 질의응답 시간에는 질문이 그치질 않고 이어졌는데, 작은 궁금증까지 모두 해결하고자 하는 수강생들의 의지를 엿볼 수 있었다.
김정빈 TL은 “지루할 수 있는 이론 수업에서 조금이라도 더 자세히 듣고자 하는 수강생들의 표정과 끊이지 않는 질문이 인상적이었다”고 말했다.
▲ 실습 강의를 진행한 신경철 TL(첫 번째 사진 오른쪽)과 수강생들의 모습
다음날에는 실습이 진행됐다. 수강생들은 SK하이닉스의 GDDR6-AiM이 여러 개 집적된 AiMX 가속기 카드를 살펴보고, PCIe* 폼팩터에 맞춰 AiMX*가 장착된 서버 환경 속에서 드라이버를 설치하는 등 하드웨어를 직접 구동해 봤다.
* PCIe(Peripheral Component Interconnect express): 디지털 기기의 메인보드에서 사용하는 직렬 구조의 고속 입출력 인터페이스
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 거대 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품
이후, SK하이닉스에서 개발한 AiMX SDK(Software Development Kit)를 활용해 소프트웨어 실습을 이어갔다. 해당 실습을 통해 수강생들은 AiM을 활용해 AI 응용 서비스의 주된 워크로드(Workload)인 GEMV 연산*을 가속하는 과정을 체험해 볼 수 있었다. 이를 통해 AiMX 유무에 따른 LLM 추론 과정의 속도 차이를 직접 확인하며 하드웨어와 소프트웨어 측면에서 실습이 진행됐다.
* GEMV 연산: 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 기본 연산
▲ 서버용 PCIe 폼팩터에 AiMX를 장착하고 있는 모습(첫 번째 사진)과 폼팩터에 장착된 AiMX를 살펴보고 있는 엄소연 수강생(두 번째 사진)
카이스트 전기/전자공학부 박사과정의 엄소연 수강생은 “논문으로는 하드웨어 구성이나 성능 이외의 정보를 얻는 데 한계가 있는데, 이번 실습을 통해 직접 AMiX 제품을 보며, 하드웨어를 작동하기 위해 무엇이 필요하고, 어떻게 사용해야 하는지 경험해 볼 수 있어서 유익한 시간이었다”며 소감을 전했다.
PIM 전문가 양성의 초석이 될 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육은 큰 호응을 얻으며 성공적으로 마무리됐다. 수강생들은 쉬는 시간까지 강사들을 찾아와 개인적인 궁금증을 해결하고자 했고, 하루 종일 진행된 실습 강의가 짧게만 느껴질 정도였다며 아쉬움을 털어놓기도 했다.
▲ 본격적인 교육 전 당부의 말을 전하고 있는 이윤종 PIM반도체설계연구센터 부센터장
카이스트 PIM반도체설계연구센터 이윤종 부센터장은 “학교에서 배우는 것과 산업 현장에서 필요한 것은 차이가 있지만, 글로벌 AI 산업을 이끌어가는 SK하이닉스의 강의를 통해 이러한 간극을 줄일 수 있었던 것 같다”며 “수강생들의 열의가 뜨거웠던 만큼 앞으로도 SK하이닉스와 더 많은 교류를 통해 이와 같은 교육이 이뤄지길 기대한다”고 전했다.
강의를 마친 김정빈 TL은 “PIM 개발을 위해서는 AiM 반도체 단계부터 시작해 하드웨어, 소프트웨어까지 전반에 걸쳐 높은 이해도를 갖춘 전문가가 필요하다”며 “이번 강의를 들은 수강생들 중, AiM 개발을 함께할 수 있는 PIM 전문가가 탄생하기를 진심으로 바란다”고 말했다.
끝으로 신경철 TL은 “PIM이라는 주제가 생소하고 어려운 개념일 수 있는데, 관심을 갖고 열정적으로 수강해 준 수강생분들께 감사의 마음을 전한다”며 “향후 개발될 온디바이스 AI*용 AiM 제품들에 대해서도 강의할 기회가 있기를 바란다”고 전했다
