더 빠른 GPU*를 쓰면 AI도 그만큼 빨라질까? GPU와 AI 가속기*는 대규모 모델 학습과 복잡한 추론 요청 처리를 이끌어온 핵심 기술이다. 그러나 실제 서비스 환경에서 AI 성능은 연산 장치의 속도만으로 결정되지 않는다.

연산 장치가 계산할 준비를 마쳤더라도 데이터가 제때 공급되지 않으면, 값비싼 가속기는 대기 상태에 놓이고 전체 시스템 효율도 낮아진다. 결국 AI 시스템은 가속기의 연산 능력, 데이터 공급 속도, 데이터 이동 경로가 함께 맞물릴 때 비로소 제 성능을 낸다.

연구 결과도 이 점을 뒷받침한다. UC 버클리, ICSI, LBNL 연구진의 ‘AI and Memory Wall’* 논문은 지난 20년간 서버 하드웨어의 peak FLOPS*는 2년마다 약 3배씩 증가했지만, D램 대역폭*은 1.6배, 인터커넥트* 대역폭은 1.4배 증가하는 데 그쳤다고 분석했다. 연산 성능이 빠르게 높아진 반면, 데이터를 공급하고 이동시키는 능력의 발전 속도는 상대적으로 더뎠다. 이 격차가 커질수록 AI 시스템에서는 컴퓨트 성능뿐 아니라 메모리와 데이터 이동 경로의 병목*이 더욱 두드러질 수 있다.

AI 시스템에서 데이터는 한 곳에 머물지 않는다. 학습 데이터, 모델 파라미터*, 사용자 요청, 문맥 정보, 검색 결과, 연산 결과는 연산 단계에 맞춰 각기 다른 위치를 오간다. 어떤 데이터는 대용량 스토리지에서 읽히고, 어떤 데이터는 시스템 메모리를 거쳐 가속기에 가까운 메모리까지 올라간다. 처리가 끝난 결과는 다시 저장되거나 네트워크를 통해 다른 서버와 서비스로 이어진다.

☑ AI가 답하기 전, 데이터는 어디를 거칠까?

챗봇이나 AI 검색창에 질문을 입력하면 데이터센터 안에서는 사용자 요청만 처리되는 것이 아니다. 이전 대화 맥락과 필요한 경우 검색 결과, 관련 문서, 모델이 참고할 정보가 함께 모이고, 이 데이터는 스토리지와 메모리를 거쳐 가속기 가까운 계층으로 이동한다. 연산이 끝난 뒤에는 결과가 다시 저장되거나 네트워크를 통해 사용자 화면으로 돌아온다.

AI 검색과 챗봇 이용이 늘면서 이런 추론 요청은 더 자주, 더 큰 규모로 발생한다. 결국 사용자가 체감하는 응답 속도는 모델 성능뿐 아니라 필요한 데이터가 얼마나 빠르게 모이고 이동하느냐에 달려 있다.

OpenAI는 2025년 7월 기준 ChatGPT에서 주간 180억 건의 메시지가 오갔다고 밝혔고, 2026년 8월 이후 Gemini의 월간 사용자 수는 10억 명을 넘어섰다.

▲ Google 데이터센터 자료: Google Data Centers Photo Gallery

이 흐름 안에서 각 계층은 서로 다른 역할을 맡는다. 스토리지는 대규모 정보를 보관하고, 시스템 메모리는 서버 전체의 작업 공간을 제공한다. 가속기에 가까운 메모리는 연산 장치에 필요한 정보를 빠르게 공급하며, 네트워크는 여러 서버와 가속기를 하나의 시스템으로 묶는다.

따라서 AI 성능은 데이터를 보유하고 있다는 사실만으로 보장되지 않는다. 같은 GPU를 사용하더라도 데이터 공급 경로가 효율적인 시스템과 그렇지 않은 시스템의 실제 성능은 달라진다.

AI 시스템의 병목은 한 곳에서만 발생하지 않는다. 연산 장치가 아무리 빨라도 메모리 대역폭이 충분하지 않으면 필요한 데이터를 제때 충분히 공급하지 못한다. 이 경우 가속기는 계산할 준비가 되어 있어도 데이터를 기다리는 시간이 생기고, 그만큼 실제 활용률도 낮아진다.

스토리지 역시 병목 지점이 된다. AI 서비스가 대규모 문서, 이미지, 로그, 사용자 이력, 검색 결과를 불러와야 할 때 필요한 데이터를 빠르게 읽어오지 못하면 응답 속도는 느려진다. 특히 추론 서비스 요청이 늘어나면 이러한 지연은 곧 서비스 품질을 떨어뜨리는 요인으로 작용한다.

대규모 AI 학습 과정에서도 비슷한 문제가 발생한다. AI 모델을 학습할 때는 중간 상태를 주기적으로 저장하는 체크포인트* 과정이 필요하다. 이때 스토리지가 대규모 데이터를 충분히 빠르게 저장하거나 다시 불러오지 못하면, 학습 클러스터 전체에 대기 시간이 생길 수 있다. ML커먼스*의 MLPerf Storage* 벤치마크가 AI · ML 학습 워크로드에서 스토리지 성능을 별도로 측정하는 것도 이 때문이다. 데이터 관리는 AI 학습과 추론의 핵심 요소로, 스토리지 성능 역시 더 이상 후순위 인프라로 보기 어려워졌다.

네트워크 역시 병목이 생기기 쉬운 구간이다. 대규모 AI 학습이나 고성능 추론에서는 여러 서버와 가속기가 동시에 데이터를 주고받으며 하나의 작업을 나눠 처리한다. 서버 간 데이터 전송이 지연되거나 네트워크 대역폭이 부족할 경우, 일부 구간의 지체가 전체 작업 속도를 끌어내린다. 하나의 장치가 빠른 것만으로는 충분하지 않다. 여러 장치가 데이터를 주고받으며 하나의 시스템처럼 작동해야 한다.

전력과 냉각도 성능을 제약하는 요인으로 작용한다. 고성능 장비가 지속적으로 최고 성능을 내기 위해서는 안정적인 전력 공급과 열 관리가 필요하다. 이 부분은 시리즈 3편에서 더 자세히 다루겠지만, 여기서 중요한 점은 분명하다. 병목과 성능 제약은 메모리, 스토리지, 네트워크 등 데이터 이동 경로뿐 아니라 전력과 냉각을 포함한 시스템 전반에서 발생할 수 있다.

AI 인프라의 관건은 가속기를 많이 확보하는 것뿐 아니라, 확보한 가속기를 지속적으로 연산에 활용할 수 있도록 설계하는 데 있다. 데이터 공급 속도가 느리면 가속기 활용률*은 낮아지고, 투자 대비 성능도 떨어진다. 고성능 장비를 갖추고도 시스템이 제 성능을 내지 못하는 상황이 생기는 이유다.

이러한 상황을 막으려면 데이터가 필요한 순간에 필요한 곳에서 공급되도록 데이터 경로를 설계해야 한다. 자주 쓰이는 데이터는 연산 장치와 가까운 곳에 두고, 대규모 데이터는 스토리지와 네트워크를 통해 효율적으로 불러온다. 모든 정보를 가장 빠른 위치에 둘 수는 없기 때문이다. 결국 속도, 용량, 비용, 전력 효율을 함께 고려해 데이터의 위치와 이동 경로를 정교하게 설계해야 한다.

소프트웨어는 이 설계를 실제 운영에 맞게 조율한다. 어떤 작업을 먼저 처리할지, 데이터를 언제 불러올지, 여러 장치에 어떻게 나눠 배치할지에 따라 가속기 활용률과 전체 성능이 달라진다. 하드웨어가 빠르더라도 스케줄링과 배치가 효율적이지 않으면 병목은 다시 생긴다.

데이터 이동을 줄이는 설계는 전력 효율에도 도움이 된다. 인텔은 시스템 안에서 데이터를 이동시키는 과정이 에너지를 소비하지만, 그 자체가 직접적인 연산에 이바지하지는 않는다고 설명한다. 데이터를 더 짧은 거리로 이동시키고, 필요한 위치에 가깝게 배치해야 하는 이유다.

이러한 설계에서 메모리는 데이터를 필요한 위치에 제때 공급해 가속기가 연산을 지속하도록 지원하는 핵심 계층이다. 컴퓨트와 메모리가 얼마나 효율적으로 연결되느냐가 실제 시스템 성능을 좌우한다.

이처럼 데이터 경로를 중심으로 시스템을 설계하는 방식은 AI 인프라 산업의 경쟁 방식에도 변화를 불러오고 있다. 빠른 GPU, 넓은 메모리 대역폭, 대용량 스토리지, 고속 네트워크가 각각 중요하지만, 이들이 따로 움직이면 충분하지 않다. 데이터가 저장된 곳에서 연산 장치까지 끊김 없이 이동하고, 처리 결과가 다시 필요한 곳으로 이어질 때 AI 시스템은 실제 환경에서 성능을 낼 수 있다.

이에 따라 산업 생태계 전반의 협업 방식도 달라지고 있다. 반도체 기업, 서버 기업, 네트워크 기업, 클라우드 기업, 스토리지 기업이 각자 자신의 부품만 최적화하는 방식으로는 전체 시스템 성능을 극대화하는 데 한계가 있다. AI 워크로드가 커지고 복잡해질수록 전체 데이터 흐름을 기준으로 한 협력이 중요해진다. 고객이 어떤 모델을 쓰는지, 어떤 데이터를 다루는지, 어느 정도의 응답 속도가 필요한지에 따라 필요한 인프라 구조도 달라지기 때문이다.

메모리 기업의 역할 역시 확대되고 있다. 단순 제품 공급을 넘어 고객 시스템의 데이터 흐름을 함께 설계하고, 연산 장치와 스토리지, 네트워크를 아우르는 시스템 관점에서 어떤 메모리 구조가 필요한지 함께 검토하는 역량이 중요해지는 이유다.

컴퓨트는 여전히 중요하다. 더 빠른 GPU와 AI 가속기는 앞으로도 AI 인프라의 핵심 요소로 남을 것이다. 하지만 이를 실제 성능으로 연결하려면 데이터 흐름까지 함께 최적화하는 것이 필요하다.

앞으로 AI 인프라를 이해하려면 연산 장치의 속도뿐 아니라 데이터가 시스템 안에서 움직이는 방식까지 함께 봐야 한다. 메모리, 스토리지, 네트워크, 전력 · 냉각은 각각 독립적인 요소가 아니라, 데이터를 끊김 없이 흐르게 만드는 하나의 시스템으로써 유기적으로 연결된다. 더 빠른 GPU가 필요하다는 말은 여전히 맞다. 그러나 이제 질문은 한 단계 더 나아간다.

그 GPU가 처리할 데이터는 얼마나 빠르고 효율적으로 도착하는가?

AI 성능을 좌우하는 다음 병목은 바로 그 질문에서 시작된다.