AI의 무게중심이 사전학습에서 추론으로, 단발성 응답에서 에이전틱 AI(Agentic AI)로 옮겨가면서 시스템 병목의 위치도 달라졌다. 핵심은 연산량 자체보다 데이터의 흐름이다. 모델이 긴 문맥을 유지하고 중간 결과를 거듭 참조할수록, 데이터와 연산 장치 사이에서 데이터가 오가는 횟수도 늘어난다.

따라서 질문은 GPU의 연산 능력만으로 좁혀지지 않는다. AI 성능을 가로막는 것은 정말 GPU의 연산 능력인가, 아니면 필요한 데이터를 제때 읽어오고 연산 장치에 전달하는 메모리 구조의 문제인가. AI 시대의 핵심 병목은 연산 자체보다 데이터가 어디에 있고, 어떤 경로로 움직이느냐에 있다.

지난 10여 년간 AI 성능 경쟁의 공식은 분명했다. 더 많은 GPU, 더 큰 모델, 더 긴 학습 시간을 앞세우는 ‘연산’ 중심의 스케일링*이었다. 대규모 사전학습이 AI 성능 향상의 핵심 경로였던 시기에는 이 공식이 상당히 잘 맞아떨어졌다. 더 많은 GPU를 투입하면 더 큰 모델을 더 오래 학습시킬 수 있었고, 그 결과 모델의 정확도와 범용성도 함께 높아졌다.

그래서 GPU는 AI 시대의 성능을 상징하는 지표가 됐다. 기업들은 몇 개의 GPU를 확보했는지, 클러스터 규모가 얼마나 되는지, 초당 몇 번의 연산을 수행할 수 있는지를 경쟁적으로 강조했다. 이 숫자들은 분명 중요하다. GPU의 병렬 연산 능력 없이는 오늘날의 대규모 AI 모델도 존재하기 어렵다.

하지만 AI 시스템의 실제 성능은 GPU의 이론상 연산 능력만으로 갈리지 않는다. 연산 장치가 아무리 많아도 필요한 데이터가 제때 도착하지 않으면 제 성능을 내지 못한다. 다시 말해 AI 시스템에서 중요한 것은 GPU가 얼마나 빨리 계산할 수 있느냐만이 아니다. 필요한 데이터가 연산 장치 가까이에 놓이고, 지연 없이 읽혀야 GPU의 성능도 제대로 살아난다.

이 차이는 추론 중심 AI와 에이전틱 AI가 확산되면서 더 뚜렷해졌다. 대규모 학습에서는 한 번에 많은 데이터를 묶어 처리하는 배치* 단위로 연산 장치를 비교적 효율적으로 채울 수 있었다. 반면 실제 서비스 환경의 추론은 낮은 지연시간, 긴 문맥, 반복적인 호출을 요구한다. 모델은 매번 필요한 정보를 다시 참조하고, 중간 결과를 저장하며, 다음 토큰을 생성하기 위해 데이터를 계속 불러온다.

결국 병목의 초점은 GPU의 연산 능력에서 데이터의 위치와 이동 경로로 옮겨간다. 메모리 대역폭과 접근 지연의 벽, 곧 ‘메모리 월*’을 어떻게 넘을 것인가가 핵심이다.

1995년 미국의 컴퓨터 과학자 윌리엄 울프(William A. Wulf)와 살리 매키(Sally A. McKee)는 짧은 논문* 한 편에서 프로세서 성능과 메모리 접근 속도 사이의 격차를 지적했다. “프로세서의 성능은 매년 약 60%씩 향상되는 반면, D램의 접근 속도는 약 7%만 빨라진다. 이 격차가 누적되면, 결국 시스템 성능이 메모리 속도에 의해 제한될 수 있다.”는 경고였다. 이 병목을 바로 ‘메모리 월’ 이라고 부른다.

30년이 흐른 지금, 이 경고는 수백억에서 수천억 개의 파라미터를 지닌 거대 모델이 실시간으로 작동하는 AI 서비스 환경에서 실제로 나타난다. 거대 모델을 처리하는 최신 AI 가속기의 연산 성능은 페타플롭스(PFLOPS)* 단위에 도달했지만, 모델이 사용하는 가중치와 활성값을 메모리에서 불러오는 속도는 연산 성능의 증가 속도를 따라잡지 못한다. 그 결과, 대형 칩에 집적된 수많은 연산 장치는 데이터를 기다리는 시간이 길어지고, 실제 활용률은 낮아진다. 이 격차를 줄이는 대표적 방향은 두 가지다. 메모리 자체의 대역폭을 높이거나, 메모리를 프로세서 가까이에 배치해 데이터가 오가는 거리를 줄이는 것이다.

거대언어모델(Large Language Model, 이하 LLM)과 추론(Reasoning) 중심 워크로드가 본격화되면서, 메모리 병목은 한층 복잡해졌다. 과거의 단발성 추론과 달리, 오늘날의 모델은 한 번의 질의에도 수천, 때로는 수만 개의 토큰*을 차례로 생성한다. CoT*나 에이전틱 AI처럼 단계적으로 추론하는 방식에서는 필요한 토큰 수도 크게 늘어난다.

이 과정에서 가장 큰 부담 중 하나가 ‘KV 캐시*‘다. 트랜스포머* 구조의 모델은 매 토큰을 생성할 때마다, 이전에 등장한 모든 토큰의 핵심 정보를 ‘키(Key)’와 ‘값(Value)’ 형태로 메모리에 남겨둔다. 이 캐시는 토큰 수가 늘어날수록 함께 커진다. 긴 문맥을 다루는 일부 추론 환경에서는 KV 캐시에 필요한 메모리가 700억(70B) 파라미터 모델의 가중치(약 140GB)를 넘어서기도 한다.

다시 말해, 사용자가 챗GPT와 같은 LLM 서비스에 질문할 때 GPU가 진짜로 하는 일의 절반 이상은 ‘연산’이 아니라 ‘데이터 이동’이며, 이는 GPU를 더 많이 사들이는 것만으로는 해결되지 않는 구조적 문제다.

병목을 완화하기 위해 산업계는 다양한 소프트웨어적 해법을 적용했다. 가장 대표적인 것이 플래시 어텐션*이다. 이 기법은 LLM의 핵심인 어텐션* 연산을 작은 블록 단위로 나눠 GPU 내부의 SRAM*에서 최대한 처리하도록 재구성한다. 그 결과 중간 데이터를 HBM과 SRAM 사이에서 반복적으로 읽고 쓰는 횟수가 줄어들어, 같은 하드웨어에서도 추론 효율이 높아진다. 페이지드 어텐션*이나 스페큘러티브 디코딩*처럼 메모리 사용 패턴과 토큰 생성 과정을 최적화하는 기법들도 빠르게 자리 잡았다.

또 하나의 큰 흐름은 양자화*다. 모델의 가중치와 활성값, 또는 KV 캐시를 16비트 대신 8비트나 4비트처럼 더 적은 비트 수로 표현해 저장하는 방식이다. 표현해야 할 데이터가 적어지는 만큼 메모리 사용량과 데이터 이동량도 함께 줄어든다. 최근에는 비슷한 값끼리 묶어 표현 효율을 높이는 데이터 포맷, 자주 나타나는 패턴을 짧은 코드로 대체하는 벡터 양자화(VQ) 등 데이터 표현 효율을 높이는 압축 기법도 다양해졌다.

이 분야에서 최근 주목받은 사례가 터보퀀트*다.  KV 캐시를 더 적은 비트로 표현해 메모리 사용량을 줄이는 양자화 기법이다. 기존 압축 기법은 입력 데이터의 분포가 바뀔 때마다 압축 규칙을 새로 맞춰야 해, 정확도는 높지만 처리 시간이 길었다.

터보퀀트는 먼저 입력 데이터에 ‘회전(Rotation)’이라는 수학적 처리를 적용해 서로 다른 입력을 비슷한 분포로 맞춘 뒤, 미리 준비된 규칙을 쓴다. 손님마다 옷을 새로 재단하는 대신 체형을 일정한 기준에 맞춘 뒤 같은 규격의 옷을 입히는 셈이다. 연구 결과에 따르면, 16비트로 저장하던 KV 캐시를 3~4비트 수준으로 줄여 메모리 사용량을 약 1/5로 낮추면서도 응답 품질은 크게 떨어뜨리지 않았다.

터보퀀트 기법으로 같은 정보를 유지하면서도 더 적은 비트로 표현하는 압축 효율을 이론적 한계에 가까운 수준까지 끌어올렸다. 즉, 정보 손실 없이 데이터를 지금보다 훨씬 더 압축할 수 있는 여지가 크지 않다는 의미다.

중요한 시사점은 여기에 있다. 소프트웨어 압축이 이론적 한계에 가까워질수록, 같은 메모리 구조 에서 추가로 얻을 수 있는 개선 폭도 줄어든다.  소프트웨어 최적화는 분명 효과적이지만, 연산 장치가 먼 메모리에서 데이터를 계속 읽어와야 하는 구조가 그대로라면 한계는 남는다.

그렇다면 다음 과제는 무엇일까? 해법의 출발점은 메모리와 연산 사이의 거리를 좁히는 데 있다. 필요한 데이터를 더 짧은 경로에서 처리하는 구조를 만드는 것이다. 이는 단순히 더 좋은 알고리즘을 찾는 문제가 아니다. 시스템과 반도체 구조 자체를 다시 설계해야 하는 문제다.

여러 해법도 이미 등장했다. 대표적인 사례가 HBM*다. HBM은 여러 장의 D램을 수직으로 쌓아 GPU 가까이에 둔다. 그만큼 데이터가 연산 장치까지 가는 거리가 짧아지고, 한 번에 오갈 수 있는 데이터의 양도 늘어난다. HBM이 주목받는 이유는 단순히 메모리 속도를 높였기 때문이 아니다. 연산 장치가 데이터를 기다리는 시간을 줄인다는 데 있다.

같은 문제의식은 다른 메모리와 시스템 기술로도 이어진다. HBF*는 더 큰 용량과 높은 대역폭을 함께 확보하려는 시도이고, CXL*은 메모리를 특정 GPU의 전용 자원에서 시스템 차원의 공유 자원으로 바꾸려는 흐름이다. PIM*은 한 걸음 더 나아가, 데이터가 있는 메모리 근처에서 일부 연산을 처리하려는 접근이다.  세 기술은 방식은 다르지만 같은 질문에서 출발한다. 데이터를 계속 먼 곳으로 보낼 것인가, 아니면 데이터가 있는 자리 가까이에서 더 많은 일을 처리할 것인가.

결국 방향은 하나로 모인다. 가까이에 둘 수 있는 데이터는 연산 장치 가까이에 두고, 반드시 오가야 하는 데이터에는 더 넓고 효율적인 경로를 마련해야 한다. AI 시대의 병목은 이제 칩 하나의 문제가 아니다. 모델 구조, GPU, 메모리, 인터커넥트, 패키징, 데이터센터 구조가 함께 맞물린 시스템 문제다.

연산 장치와 메모리를 분리해 사용하는 기존의 폰 노이만 구조*가 곧바로 끝난다는 뜻은 아니다. 다만 수십 년 동안 당연하게 여겼던 방식, 즉 연산 장치와 메모리를 따로 두고 버스로 잇는 구조는 이제 다시 살펴봐야 한다. AI 시스템의 성능은 연산 장치 자체뿐 아니라 메모리를 어디에 두고 어떤 경로로 읽어오느냐가 함께 좌우한다.

처음의 질문으로 돌아가 보자. AI의 진짜 병목은 무엇인가. 병목은 우리가 미처 보지 못한 곳, 데이터가 메모리와 연산 장치 사이를 끊임없이 오가는 구조에 있다.

앞에서 살펴본 소프트웨어 기반 압축 기술은 이 병목을 일부 완화하지만, 근본적인 질문은 여전히 남는다. 왜 정보는 매번 먼 경로를 거쳐야 하는가. 데이터가 머무는 자리에서 더 많은 일을 처리할 수는 없는가. 메모리와 연산의 간격을 더 좁힐 수는 없는가.

이 병목을 얼마나 잘 풀어내느냐가 차세대 AI 인프라의 경쟁력을 좌우한다. 이는 특정 국가나 기업만의 과제가 아니다. AI 가속기, 메모리, 첨단 패키징, 인터커넥트, 소프트웨어가 함께 맞물리는 글로벌 AI 생태계 차원의 도전이다. 그 안에서 메모리 기술 역량은 그 어느 때보다 중요한 경쟁력이 됐다.

다음 시대 AI 인프라 경쟁은 결국 여기서 갈린다. 더 많은 연산 장치를 확보하는 것만으로는 충분하지 않다. 메모리 배치와 연산 구조를 함께 설계해 데이터를 더 빠르고 효율적으로 처리하는 쪽이 승부를 가른다. 이 변화를 읽고 새로운 구조로 구현하는 일은 이 시대 반도체 연구자가 마주한 가장 중요한 과제다.

2편에서 살펴본 병목은 단순히 메모리 속도의 문제가 아니다. 추론과 에이전틱 AI가 확산될수록 모델은 긴 문맥을 유지하고, 중간 결과를 반복해서 참조하며, 필요한 데이터를 메모리와 연산 장치 사이에서 계속 주고받는다. 그 결과 AI 성능은 GPU 하나의 연산 능력보다 데이터를 어디에 두고, 어떤 경로로 이동시키며, 얼마나 효율적으로 처리하느냐에 더 크게 좌우된다.

이 문제는 개별 칩이나 메모리 기술만으로 풀기 어렵다. GPU, 메모리, 스토리지, 네트워크, 데이터센터가 하나의 시스템으로 맞물려야 한다. 다음 편에서는 이 문제를 AI 인프라 관점에서 살펴본다. AI 성능을 결정하는 것은 더 빠른 부품인가, 아니면 연산과 데이터가 흐르는 구조 전체인가?

※본 콘텐츠는 AI/반도체 산업에 관한 인사이트를 제공하는 외부 전문가 칼럼 콘텐츠로, SK하이닉스의 공식 입장과는 다를 수 있습니다.