앞선 세 편에서 살펴본 변화는 AI 인프라 설계의 새로운 방향을 보여준다. AI 인프라 경쟁에서는 이제 개별 부품의 성능뿐 아니라 컴퓨트 · 메모리 · 스토리지 · 네트워크 · 전력 · 냉각을 얼마나 정교하게 맞춰내느냐가 차이를 만든다. 1편에서 다룬 AI 데이터센터의 구조, 2편의 데이터 이동과 병목, 3편의 전력 · 냉각 문제도 모두 같은 설계 과제로 이어진다.

그렇다면 차세대 AI 인프라는 어떤 단위와 기준으로 설계돼야 할까. 인프라 인사이트 마지막 편에서는 설계 범위가 서버에서 랙, 데이터센터 전체로 넓어지는 흐름을 살펴본다. 이 과정에서 컴퓨트 · 메모리 · 스토리지 · 네트워크 · 전력 · 냉각을 설계 단계에서 함께 맞추는 공동 설계*가 AI 인프라의 설계와 기업 간 협업에 어떻게 반영되고 있는지, 그리고 AI 메모리 기업의 역할은 어떻게 달라지고 있는지 짚어본다.

AI 인프라의 설계 단위는 개별 서버에서 랙으로 커지고 있다. 대규모 AI 학습과 추론은 하나의 AI 가속기나 서버만으로 처리하기 어렵기 때문이다. 수많은 가속기가 긴밀하게 연결돼 작업을 나눠 처리해야 하는 환경에서는 개별 가속기의 성능과 함께 가속기 간 연결 속도, 메모리와 네트워크, 전력 · 냉각 등 시스템 전반의 균형이 전체 성능에 영향을 미친다.

이에 따라 설계의 초점도 개별 서버에서 랙 안의 자원을 하나의 구조로 묶는 쪽으로 옮겨가고 있다. 랙에는 여러 서버와 가속기가 고밀도로 배치되고, 메모리 구성과 네트워크, 전력 · 냉각 조건도 이에 맞춰 함께 설계된다. 대표적인 형태가 랙 전체를 하나의 시스템으로 설계하는 ‘랙 스케일 시스템*‘이다.

랙 스케일 시스템에서는 여러 가속기와 프로세서를 고속 인터커넥트로 연결하고, 메모리와 네트워크, 전력 · 냉각까지 랙 단위에서 함께 설계한다. 이처럼 랙은 여러 서버를 수용하는 공간에서 데이터 이동과 전력 · 열 관리까지 함께 다루는 통합 시스템 단위로 바뀌고 있다.

하지만 AI 인프라의 설계는 랙 단위에서 끝나지 않는다. 고밀도 AI 시스템을 대규모로 구축하려면 랙의 배치부터 네트워크, 전력, 냉각, 데이터센터의 물리적 구조까지 함께 고려해야 하기 때문이다.

AI 클러스터의 규모가 커질수록 랙 간 통신 효율이 시스템 성능에 미치는 영향도 커진다. 랙의 물리적 배치와 연결 거리, 네트워크 구조는 데이터 전송 지연과 통신 효율에 영향을 줄 수 있다. 고밀도 랙에서 발생하는 열을 처리하기 위해서는 냉각 설비 역시 랙 배치와 시설 구조를 고려해야 한다. 필요한 전력을 안정적으로 공급하기 위한 전력 분배 구조도 마찬가지다.

대규모 AI 인프라에서는 랙의 배치와 연결, 전력 공급, 냉각, 건물 구조를 함께 맞춰야 성능을 충분히 끌어낼 수 있다.

설계 범위가 넓어지는 동시에, 어떤 워크로드를 처리할 것인지도 AI 인프라 설계의 중요한 기준이 되고 있다. 모든 워크로드에 동일한 구조를 적용하기보다, 각 작업이 요구하는 성능과 데이터 처리 방식에 맞춰 자원을 구성해야 하기 때문이다.

대규모 모델 학습에서는 수많은 가속기가 장시간 병렬로 연산해야 하므로 높은 처리량과 메모리 대역폭, 가속기 간 빠른 연결이 필요하다. 반면 추론에서는 낮은 지연시간과 데이터 접근 속도, 처리량, 전력 및 비용 효율 등이 주요 조건이 된다. 같은 AI 인프라라도 어떤 워크로드를 중심으로 설계하느냐에 따라 컴퓨트와 메모리의 구성, 네트워크와 스토리지의 연결 방식, 전력 · 냉각에 필요한 조건도 달라진다.

특히 에이전틱 AI*처럼 하나의 요청을 처리하는 과정에서 연속적으로 추론하고 외부 도구와 데이터에 반복적으로 접근하는 워크로드가 늘면, 인프라가 처리해야 할 데이터 흐름도 복잡해진다. 이때 메모리와 스토리지, 네트워크를 오가는 데이터가 실제 처리 성능을 가르는 변수로 작용한다.

아무리 뛰어난 가속기를 확보해도 원활한 데이터 이동과 충분한 메모리 대역폭, 안정적인 전력 · 냉각이 뒷받침되지 않으면 기대한 성능을 내기 어렵다. AI 인프라 설계는 어떤 워크로드를 처리할 것인가에서 출발한다.

AI 인프라를 이루는 기술이 서로 긴밀하게 맞물리면서 설계 방식도 달라지고 있다. 가속기의 성능과 전력 특성이 달라지면 필요한 메모리의 대역폭과 용량, 인터커넥트 성능, 랙의 전력 · 냉각 조건도 달라진다. 반대로 데이터센터가 제공할 수 있는 전력과 냉각, 네트워크 조건은 실제 배치할 수 있는 컴퓨팅 시스템의 구성과 규모에 영향을 미친다.

이제는 각 구성 요소를 개별적으로 설계한 뒤 마지막 단계에서 통합하는 방식만으로는 한계가 있다. 이에 따라 AI 컴퓨팅 플랫폼과 데이터센터 인프라의 조건을 설계 단계에서 함께 맞추는 공동 설계(Co-design) 방식이 확산되고 있다.

공동 설계는 이제 전력 · 냉각 같은 데이터센터의 물리 인프라 영역까지 포괄한다. 고밀도 AI 시스템에서는 전력 공급과 액체 냉각, 열 관리 역시 컴퓨팅 시스템의 요구 조건과 함께 고려해야 할 설계 변수가 됐다.

결국 AI 인프라의 설계는 완성된 부품을 사후에 조합하는 방식에서, 컴퓨트 · 메모리 · 스토리지 · 네트워크 · 전력 · 냉각의 조건을 하나의 설계 과정에서 함께 맞추는 방식으로 옮겨가고 있다.

개별 시스템에 맞춘 공동 설계가 확대되면서, 서로 다른 기업의 기술을 한 데이터센터 안에서 연결하기 위한 공통 인터페이스와 요구 조건도 필요해졌다.

대표적인 영역 중 하나가 전력 인프라다. 고밀도 AI 인프라에서는 랙당 전력 요구량이 높아지면서 전력 품질과 전력 변동 관리, 장비 간 인터페이스를 공통 기준으로 맞추려는 움직임도 나타나고 있다. 이 때문에 데이터센터 하드웨어와 인프라의 개방형 설계를 추진하는 OCP*를 중심으로 차세대 데이터센터의 전력 구조와 시스템 요구 조건, 인터페이스를 표준화하려는 논의가 이어지고 있다.

공통된 설계 기준이 마련되면 전력 장비와 커넥터, 전력 변환 시스템을 개발하는 기업도 데이터센터별 요구 조건에 각각 대응하기보다, 상호 호환성을 전제로 제품과 시스템을 개발할 수 있다.

이러한 흐름은 전력 인프라에만 국한되지 않는다. 가속기 간 인터커넥트와 메모리 인터페이스 등에서도 공통 규격을 마련하려는 논의가 이어지고 있다. 메모리는 JEDEC* 같은 표준화 기구가 HBM 등 주요 제품의 기본 규격을 정하고, 각 기업은 이를 바탕으로 제품을 개발한다. 기업 간 공동 설계에서 시작된 협력이 산업 생태계 전체가 활용할 수 있는 설계 기반으로 이어지고 있는 것이다.

다만 공통 규격만으로 모든 시스템의 요구를 충족할 수 없다. 표준이 상호 호환성의 기반을 마련한다면, 각 시스템에 맞춘 최적화는 그 위에서 이뤄진다. 메모리도 마찬가지다. 가속기가 처리하는 데이터의 규모와 속도가 커질수록 메모리에 요구되는 대역폭과 용량, 전력 · 발열 조건도 시스템마다 달라진다. 이 때문에 표준 규격을 바탕으로 하되, 메모리 사양을 플랫폼과 시스템 구상 단계에서 함께 결정하는 방식이 늘고 있다. 대표적인 예가 HBM이다. 차세대 HBM에서는 베이스 다이*를 중심으로 고객 시스템의 요구를 반영하는 커스텀 HBM 논의가 본격화되고 있다.

이 변화는 메모리 기업과 고객의 협업 방식도 바꾸고 있다. 고객의 시스템 로드맵을 조기에 이해하고, 이에 맞춰 메모리 사양과 개발 방향을 함께 정하는 과정까지 협업의 범위도 넓어지고 있다.

SK하이닉스도 고객의 차세대 AI 시스템 개발 과정에 보다 이른 단계부터 참여하며 협력을 확대하고 있다. 고객의 시스템 로드맵과 메모리 개발 방향을 연계해 필요한 메모리 조건을 함께 정의하는 방식이다.

AI 인프라 경쟁에서는 제품 성능과 함께 고객의 차세대 시스템 개발 방향을 얼마나 일찍 이해하고, 설계 과정에 얼마나 깊이 참여하느냐가 메모리 기업 간 차이를 가르는 기준이 되고 있다.

AI 인프라의 범위가 커질수록 컴퓨트와 메모리, 스토리지, 네트워크, 전력 · 냉각을 따로 최적화하는 방식만으로는 대응하기 어렵다. 데이터 흐름과 이를 뒷받침하는 전력 · 냉각까지 하나의 구조 안에서 설계해야 한다.

앞으로 AI 인프라 경쟁에서는 개별 기술의 사양과 함께 전체 구조를 얼마나 정교하게 조율하느냐가 큰 차이를 만들 것이다. SK하이닉스도 고객과 파트너의 차세대 시스템을 일찍 이해하고, 필요한 메모리 조건을 함께 정의하는 방향으로 협력을 넓혀가고 있다. 이러한 공동 설계 역량은 차세대 AI 인프라에서 SK하이닉스의 차별화를 만드는 기반이 될 것이다.