Skip to the content

[AI Ecosystem] AI의 완성, 피지컬 AI와 메모리

AI가 데이터센터를 넘어 로봇·차량·웨어러블 등 현실 세계로 확장되며 전력 · 발열 · 지연 등 제약이 커지고 있다. 이에 따라 연산보다 메모리 배치 · 대역폭 · 저장 계층이 중요해지고, HBM · 3D 적층 D램 · PIM · CXL · HBF · SSD를 워크로드에 맞춰 통합 설계하는 메모리 중심 시스템이 핵심이 된다. SK하이닉스는 이를 위한 풀스택 AI 메모리 솔루션과 아키텍처 파트너 역할을 지향한다.
TECH&AI
[AI Ecosystem] AI의 완성, 피지컬 AI와 메모리

[AI Ecosystem]은 AI를 하나의 모델이나 알고리즘이 아니라 소프트웨어, 데이터센터 인프라, 반도체와 메모리 기술이 맞물려 작동하는 하나의 생태계로 바라보는 시리즈다.

AI 워크로드가 추론과 에이전틱 AI 중심으로 고도화될수록 성능 경쟁의 기준도 달라지고 있다. 이제는 연산 능력뿐 아니라 데이터를 어디에 저장하고, 얼마나 빠르게 이동시키며, 얼마나 효율적으로 처리할 것인가가 AI 시스템의 성능과 비용을 좌우한다.

이번 시리즈는 이러한 AI 생태계의 변화를 따라가며, 메모리 반도체가 왜 AI 시대의 핵심 기반으로 부상하고 있는지를 살펴보고, SK하이닉스가 함께 만들어갈 AI 메모리 생태계의 방향성을 조망한다.

5편에서는 저전력 프로세서 아키텍처를 연구하고, 차세대 D램과 PIM 개발을 이끈 김남승 일리노이대학교 어배너-섐페인(UIUC) 석좌교수를 통해 AI가 데이터센터를 넘어 현실 세계로 확장되면서 메모리와 시스템 설계가 함께 달라져야 하는 이유를 들여다본다.

① AI 연산의 패러다임 시프트
② 병목의 실체, 연산이 아닌 데이터
③ 인프라 재설계, 구조가 성능을 결정한다
④ 반도체 패러다임의 이동, 메모리 중심으로
⑤ AI의 완성, 피지컬 AI와 메모리 중심 설계 – 일리노이대학교 어배너-섐페인(UIUC) 김남승 교수

피지컬 AI와 시스템 레벨의 메모리 중심 설계

피지컬 AI(Physical AI) 시대에는 연산 장치만큼 메모리 배치와 시스템 구조가 중요해진다. AI가 데이터센터 안의 모델을 넘어 로봇, 차량, 산업용 드론, AI 스마트 글라스, 웨어러블 기기처럼 현실 세계와 실시간으로 상호작용하는 시스템으로 확장되면 연산 성능 향상만으로는 한계가 있다. 데이터를 어디에 두고, 얼마나 가까운 곳에서 처리하며, 필요한 순간에 얼마나 적은 전력으로 데이터를 공급하느냐가 성능을 가른다.

앞선 1~4편에서는 AI 성능의 기준이 연산 능력에서 데이터 공급, 인프라 구성, 메모리 중심 시스템 구성으로 넓어지는 흐름을 살펴봤다. 5편에서는 시선을 데이터센터 밖으로 돌린다. AI가 현실 세계로 나아갈수록 전력, 발열, 응답시간, 제품 크기라는 조건이 더 까다로워진다. 이 조건 안에서 AI를 안정적으로 작동시키려면 시스템 설계의 출발점도 달라져야 한다.

스마트 글라스는 사용자의 시야 안에서 정보를 빠르게 해석하고, 로봇은 주변 환경을 인식하며 거의 실시간으로 움직임을 조정해야 한다. 차량과 산업용 드론 역시 연결이 끊기거나 응답이 늦어지는 상황에서도 스스로 판단해야 한다. 이때 모든 판단을 데이터센터에 맡기기는 어렵다. 데이터를 현장 가까이에서 처리하고, 그 자리에서 의사결정까지 마치는 구조가 더 적합하다.

데이터센터 밖 AI가 마주한 물리적 제약

지금까지 고성능 AI는 주로 하이퍼스케일 데이터센터 안에서 구현됐다. 데이터센터는 대규모 GPU 클러스터, 넓은 보드 공간, 막대한 전력 공급, 대형 냉각 시스템을 활용할 수 있어 연산량이 많고 데이터 이동이 복잡하더라도 이를 감당할 시스템 자원이 상대적으로 충분했다.

그러나 피지컬 AI와 온디바이스 AI*가 활용되는 환경은 데이터센터와 다르다. 온디바이스 AI는 스마트폰, 스마트 글라스, 웨어러블 기기처럼 사용자 가까이에 있는 기기 안에 AI 기능을 직접 탑재하는 방식이다. 두 영역 모두 높은 성능과 낮은 지연, 높은 에너지 효율을 동시에 요구한다.

* 온디바이스 AI(On-device AI): 데이터를 외부 서버로 보내지 않고 스마트폰, 웨어러블, 스마트 글라스 등 기기 안에서 직접 AI 연산을 수행하는 방식

하지만 실제 기기 안으로 들어가면 배터리 용량, 발열, 패키지 크기, 배선 구조가 곧 설계 조건이 된다. 엣지나 모바일 환경에서는 대규모 GPU 클러스터를 탑재하기 어렵고, 표준 메모리 모듈을 필요에 따라 확장하기도 쉽지 않다. 사용할 수 있는 에너지는 제한적이며, 발생한 열을 처리할 수 있는 여유도 크지 않다. 기기가 작아질수록 전력 예산은 줄어들고, 열을 빼낼 공간도 좁아진다.

이에 따라 현실 세계의 AI는 가능한 한 기기 안에서, 적어도 현장 가까이에서 데이터를 처리해야 한다. 로봇의 동작, 차량의 주행 판단, 산업 현장의 제어는 지연시간에 민감하다. 네트워크 왕복 시간이 길어지면 판단이 늦어지고, 연결이 불안정하면 시스템의 신뢰성도 떨어진다. AI가 데이터센터 밖으로 나가면 제품 설계는 메모리 용량, 데이터 전송 경로, 지연시간부터 따지게 된다.

메모리 문제를 풀기 위한 알고리즘의 진화

이런 제약은 알고리즘 설계에도 영향을 준다. 그중 하나가 모델 경량화다. 모델 경량화는 성능 저하를 최소화하면서 모델 크기를 줄여, 기기 안에서 실행할 수 있는 모델의 범위를 넓힌다. 대표적인 방법의 하나가 양자화*다. 이 방식은 모델 파라미터를 더 적은 비트로 표현해 저장 공간과 데이터 전송 부담을 낮춘다.

다만 피지컬 AI와 온디바이스 AI에서는 모델을 작게 만드는 것만으로는 부족하다. 제한된 전력과 발열 조건에서도 추론 성능을 유지해야 하기 때문이다. 터보퀀트*는 이런 요구를 반영하는 양자화 기법의 한 사례로, 추론 과정에서 생기는 메모리 부담을 낮추면서 모델의 응답 품질을 유지하는 데 초점을 둔다.

최근에는 반복 계산을 줄이고 메모리 조회를 적극적으로 쓰는 접근도 나왔다. 엔그램*이 그 사례다. 기존 대규모 언어모델(LLM)은 정보를 찾거나 패턴을 재구성할 때 여러 신경망 계층을 차례로 거친다. 엔그램은 자주 쓰이는 패턴과 정보를 조건부 메모리(Conditional Memory)의 조회 테이블에 미리 저장하고, 입력에 맞는 정보만 골라 불러온다. 사람이 자주 쓰는 내용을 메모해 두었다가 필요할 때 다시 꺼내 보는 것과 비슷하다. 같은 정보를 매번 새로 계산하지 않아도 되는 만큼 연산 부담은 줄지만, 저장할 정보와 읽어올 데이터가 많아진다. 그만큼 메모리 용량과 데이터 공급 능력이 처리 속도와 효율의 제약 조건이 된다.

* 양자화(Quantization): 모델의 가중치, 활성값, KV 캐시 등을 더 낮은 비트 수로 표현해 메모리 사용량과 데이터 이동량을 줄이는 기법. 예를 들어 16비트 데이터를 8비트 또는 4비트로 표현하면 저장 공간과 전송 부담을 줄일 수 있다.
* 터보퀀트(TurboQuant): 대규모 언어모델 추론 과정에서 KV 캐시를 낮은 비트로 압축해 메모리 사용량을 줄이는 양자화 기법
* 엔그램(Engram): 신경망 내부 계산만으로 정보를 재구성하는 대신, 조건부 메모리와 대규모 조회 테이블을 활용해 일부 계산 부담을 메모리 조회로 전환하는 아키텍처

AI Ecosystem AI의 완성 피지컬 AI와 메모리 02 1 graphic

터보퀀트와 엔그램은 접근 방식이 다르지만, 모두 연산과 메모리 사이의 균형을 다시 맞추려는 시도다. 소프트웨어 최적화만으로는 실제 성능을 끌어올리는 데 한계가 있다. AI가 현실 세계로 확장될수록 알고리즘의 변화는 메모리 구조의 변화로 이어진다.

AI가 데이터센터를 넘어 엣지와 모바일 기기로 확장되면 메모리 설계의 조건도 달라진다. 특히 피지컬 AI에서는 데이터 처리의 지연이 실제 판단과 동작의 지연으로 이어질 수 있다. 결국 설계의 범위는 메모리 자체에서 시스템 통합으로 넓어진다. 메모리와 로직의 배치와 연결, 패키지 안의 대역폭 확보, 발생하는 열의 처리 방식까지 설계 범위에 들어온다.

HBM부터 HBF까지: 메모리 중심 아키텍처를 구성하는 기술

피지컬 AI의 메모리 설계는 크게 세 가지 문제를 풀어야 한다. 데이터를 연산 장치 가까이에 두고, 필요한 메모리 자원을 유연하게 연결하며, 대용량 데이터를 적절한 계층에서 저장하고 공급하는 일이다. 이를 위해 커스텀 HBM*, 3D 적층 D램*, 커스텀 D램, PIM*, CXL*, HBF*, SSDs(Solid-State Drives) 등 서로 다른 기술이 활용된다.

* 커스텀 HBM(custom HBM): 특정 AI 워크로드나 시스템 요구에 맞춰 대역폭, 용량, 전력, 패키지 조건 등을 조정한 맞춤형 HBM 구조
* 3D 적층 D램(3D Stacked DRAM): SoC 등 로직 반도체 위에 D램을 직접 수직 적층해 데이터 이동 경로를 줄이고 I/O를 확대하는 기술로, 지연시간과 전력 소모를 낮추고 좁은 공간의 활용도를 높이는 데 초점을 둔다.
* PIM(Processing-in-Memory): 메모리 내부 또는 메모리 가까이에서 일부 연산을 수행하는 기술
* CXL(Compute Express Link): 프로세서, 가속기, 메모리 장치를 고속으로 연결해 메모리 확장과 공유를 가능하게 하는 인터커넥트 표준
* HBF(High Bandwidth Flash): HBM과 SSD 사이의 새로운 메모리 계층으로 논의되는 차세대 낸드 기반 메모리 기술. HBM과 마찬가지로 베이스 다이(Base Die)에 로직 공정을 적용해, HBM보다 훨씬 큰 용량을 제공하면서도 유사한 대역폭과 비용 효율을 확보하는 데 초점을 둔다.

먼저 커스텀 HBM과 3D 적층 D램, 커스텀 D램은 메모리를 연산 장치 가까이에 배치하고, 워크로드와 시스템 조건에 맞춰 용량과 대역폭, 전력 특성을 조정하는 접근이다. HBM은 여러 D램 다이를 수직으로 쌓고 넓은 인터페이스로 연결해 같은 면적에서 높은 대역폭을 확보한다. 3D 적층 D램은 D램을 로직/SoC 위에 직접 적층해 메모리와 연산 장치 사이의 거리를 더 줄이고, 좁은 공간에서 데이터 통로를 넓힌다. 커스텀 D램 역시 폼팩터*와 워크로드에 맞춰 필요한 메모리 특성을 최적화한다.

* 폼팩터(Form Factor): 기기의 크기, 형태, 내부 공간, 전력 · 발열 조건 등을 포괄하는 물리적 설계 조건

PIM은 여기서 한 걸음 더 나아가 일부 연산을 데이터가 있는 위치로 옮긴다. 메모리와 프로세서 사이를 오가는 데이터가 많을수록 에너지 소모와 지연시간도 커지기 때문이다. PIM은 반복적인 데이터 접근이 많은 작업에서 일부 처리를 메모리 내부나 가까운 곳에서 수행해 불필요한 데이터 이동을 줄인다.

메모리를 연산 가까이에 두는 것만으로 부족한 경우에는 연결 방식도 달라져야 한다. 엔그램처럼 많은 정보를 조회 테이블에 저장해 활용하거나, 더 많은 문맥과 상태 정보를 유지하는 피지컬 AI 에이전트는 기기 내부 메모리만으로 필요한 용량을 확보하기 어려울 수 있다. CXL은 프로세서와 가속기, 메모리 장치를 고속으로 연결해 외부 메모리 자원을 확장하고 공유할 수 있도록 한다.

모든 데이터를 HBM이나 D램에 올려둘 수 없는 만큼 대용량 데이터는 스토리지 계층이 맡는다. 로봇의 센서 로그, 자율주행 지도 데이터, 현장에서 장기간 축적되는 정보는 3D 낸드 기반 SSDs에 저장하고, 필요할 때 D램이나 HBM으로 불러온다. 반면 모델 가중치처럼 용량이 크면서 추론 과정에서 자주 사용하는 데이터에는 기존 SSDs보다 높은 대역폭이 필요하다. HBF는 이 영역을 겨냥한 새로운 메모리 계층으로, 3D 낸드 다이를 적층하고 넓은 인터페이스를 적용해 낸드의 대용량과 높은 데이터 전송 속도를 함께 확보한다.

AI Ecosystem AI의 완성 피지컬 AI와 메모리 03 graphic

각 기술의 역할은 다르지만 방향은 같다. 필요한 데이터를 적절한 위치에 두고 불필요한 이동을 줄이는 것이다. HBM, 3D적층 D램과 PIM은 연산에 가까운 계층을 최적화하고, CXL은 필요한 메모리 자원을 유연하게 연결하며, SSD와 HBF는 더 큰 데이터를 저장하고 공급한다. 피지컬 AI의 메모리 설계는 결국 이 계층들을 워크로드와 시스템 조건에 맞게 어떻게 조합하느냐의 문제다.

AI 시스템 레벨의 메모리 설루션과 SK하이닉스의 역할

AI가 데이터센터를 넘어 엣지 기기, 로봇, 차량으로 확산되면서 하나의 메모리 사양으로 모든 워크로드에 대응하기 어려워졌다. 대규모 학습과 추론에서는 고대역폭과 고용량이, 작은 폼팩터의 온디바이스 AI에서는 에너지 효율과 지연시간이 우선시된다. 여기에 로봇의 센서 로그, 자율주행 맵 데이터, 현장에서 생성되는 데이터가 늘어날수록 스토리지 계층의 설계 역시 중요한 과제로 떠오르고 있다.

이에 따라 HBM부터 HBF까지 다양한 메모리 · 스토리지 기술을 AI 시스템 레벨에서 하나의 포트폴리오로 묶어야 한다. AI 메모리 경쟁의 기준도 개별 제품의 성능에서, 워크로드와 폼팩터에 맞춰 메모리 계층 전체를 어떻게 구성하느냐로 옮겨간다.

SK하이닉스가 지향하는 풀스택 AI 메모리 설루션의 핵심도 바로 여기에 있다. HBM을 비롯한 D램 제품과 3D 적층 D램, 커스텀 메모리, SSD, HBF, CXL, PIM을 AI 시스템 레벨의 풀스택 관점에서 하나로 묶어야 시스템 차원의 성능과 에너지 효율을 확보할 수 있다. 이러한 선택과 조합을 가능하게 하는 것이 고객의 아키텍처와 워크로드에 따른 메모리 라이브러리(Memory Library) 역량이다.

SK하이닉스는 고객 요구에 맞춘 제품 공급과 함께, 고객 아키텍처에 적합한 메모리 조합을 공동 설계하는 아키텍처 파트너(Architecture Partner)를 지향한다. 앞으로 AI 시스템은 연산 능력뿐 아니라 데이터를 어디에 저장하고, 어떻게 이동시키며, 어느 위치에서 처리하느냐까지 함께 설계해야 한다. 피지컬 AI로 무대가 넓어질수록 메모리는 필요한 데이터를 제때 공급하고, 연산 장치와 스토리지를 잇는 시스템 설계의 한 축으로 자리 잡는다. AI가 현실 세계로 확장될수록, 데이터의 저장과 이동, 처리 방식은 시스템의 반응 속도와 효율로 직결된다. 메모리가 AI 시스템의 성능을 좌우하는 만큼, 메모리의 진화가 곧 AI의 진화를 결정하는 시대다.

AI Ecosystem AI의 완성 피지컬 AI와 메모리 04 etc

※ 본 콘텐츠는 AI/반도체 산업에 관한 인사이트를 제공하는 외부 전문가 칼럼 콘텐츠로, SK하이닉스의 공식 입장과는 다를 수 있습니다.

연관 기사