데이터 처리량이 폭발적으로 증가하는 AI 시대가 도래하면서 컴퓨팅 시스템에도 새로운 변화가 요구되고 있다. 특히 생성형 AI와 거대언어모델(LLM)은 방대한 데이터를 빠르게 처리해야 하는 만큼, 연산 성능뿐 아니라 메모리 대역폭과 전력 효율까지 중요해졌다. 이에 따라 기존 컴퓨터 구조의 한계를 극복하기 위한 새로운 아키텍처로 PIM(Processing-In-Memory) 기술이 주목받고 있다.

기존의 폰 노이만(Von Neumann) 구조*는 데이터를 저장하는 메모리와 연산을 수행하는 프로세서의 기능이 분리되어 있다. 따라서 프로세서는 필요한 데이터를 메모리에서 반복적으로 읽고 연산한 뒤 다시 저장하는 과정을 거쳐야 한다. AI처럼 처리해야 할 데이터가 많아질수록 프로세서와 메모리 사이를 오가는 데이터 이동이 급격히 늘어난다. 이로 인해 처리 성능이 제한되는 병목 현상이 발생하고, 결과적으로 속도 저하와 전력 소모 증가로 이어진다.

* 폰 노이만(Von Neumann) 구조: 1945년 존 폰 노이만이 제안한 컴퓨터 아키텍처. 연산을 담당하는 프로세서와 데이터를 저장하는 메모리가 물리적으로 분리되어 있어, 데이터를 순차적으로 불러와 처리하는 전통적인 컴퓨터 설계 방식

이러한 한계를 완화하기 위해 등장한 기술이 바로 PIM이다. PIM은 메모리 내부에 연산 기능을 구현해, 데이터 이동이 잦은 일부 연산을 메모리 안에서 직접 수행하도록 설계되었다. 쉽게 말해, 서류를 보관하는 공간과 업무를 처리하는 공간이 떨어져 있어 계속 서류를 옮겨야 했던 기존 방식과 달리, 서류가 있는 곳에서 바로 필요한 업무를 처리하는 것과 같다.

이처럼 PIM은 일부 연산을 메모리 내부에서 처리함으로써 프로세서와 메모리 사이의 데이터 이동량을 크게 줄인다. 또한 병목 현상을 완화하고 시스템 성능을 높이는 동시에, 데이터 전송에 소모되는 전력을 아껴 AI 시스템의 전반적인 에너지 효율을 높인다.

이러한 PIM 기술을 기반으로 SK하이닉스가 개발한 차세대 메모리 설루션이 GDDR6-AiM과 이를 탑재한 AI 가속기 카드 AiMX(AiM based Accelerator)다. GDDR6-AiM은 기존 GDDR6 메모리에 연산 기능을 결합해 AI 추론에 필요한 작업을 더욱 효율적으로 수행한다. 나아가 다수의 GDDR6-AiM을 장착한 AiMX는 대규모 언어모델(LLM) 처리에 특화되어, 높은 메모리 대역폭과 우수한 에너지 효율을 바탕으로 생성형 AI가 요구하는 대규모 연산을 안정적으로 지원한다.

앞으로 AI 모델이 더욱 거대해지고 처리해야 할 데이터가 늘어날수록 PIM 기술의 중요성은 더욱 커질 전망이다. SK하이닉스 역시 System Architecture 직무와 Software Solution 직무의 긴밀한 협업을 바탕으로 차세대 지능형 메모리 기술을 지속 고도화하며 AI 시대의 혁신을 이끌어가고 있다.

AI 시대를 선도하는 차세대 지능형 메모리의 핵심, PIM. 이에 대한 대학생 앰버서더들의 쉽고 명쾌한 설명은 아래 ‘하이피디아’ 숏폼 영상에서 확인할 수 있다.