AI 인프라 경쟁은 더 높은 연산 성능을 확보하는 단계에서, 그 성능을 실제 데이터센터 안에서 안정적으로 유지하고 효율적으로 운영하는 단계로 확대되고 있다. 1편에서 살펴본 AI 데이터센터의 구조, 2편에서 짚은 데이터 이동의 문제는 결국 전력 공급과 열 관리라는 현실 과제로 이어진다. 대규모 장비가 동시에 작동하는 환경에서는 필요한 전력을 안정적으로 공급하고, 발생한 열을 효과적으로 제어하는 냉각 역량이 성능과 확장성을 좌우한다.

이에 따라 전력과 냉각은 데이터센터 구축 이후에 관리하는 후속 요소가 아니라, 설계 초기부터 고려해야 할 핵심 조건이 됐다. 빠른 가속기와 넓은 메모리 대역폭, 고속 네트워크의 성능을 충분히 활용하기 위해서도 안정적인 전력 공급과 열 관리가 뒷받침돼야 한다.

AI 학습과 추론이 증가할수록 데이터센터가 처리해야 하는 연산량과 이를 뒷받침하는 전력 수요도 함께 커진다. AI 가속기*, 메모리, 네트워크 장비, 스토리지 등의 고성능 장비가 랙*, 클러스터 단위로 고집적되고 동시 운영되면서, 데이터센터가 안정적으로 확보 · 공급해야 하는 전력 규모도 빠르게 늘고 있다.

이러한 변화는 전 세계 데이터센터의 전력 소비 증가로 이어지고 있다. 국제에너지기구(IEA)는 전 세계 데이터센터 전력 소비가 2024년 약 415TWh*로 전 세계 전력 소비의 약 1.5%를 차지했다고 분석했다. 또한 2030년에는 이 수치가 약 945TWh로 두 배 이상 늘어날 수 있다고 전망했다. 특히 AI 확산과 밀접한 가속 서버*의 전력 소비는 2024년부터 2030년까지 연평균 30% 증가할 것으로 예상했다.

미국에서는 데이터센터 확대로 전력 인프라 확보의 중요성도 커지고 있다. 맥킨지는 향후 10년간 예상되는 미국 전력 수요 증가분의 약 75%가 데이터센터에서 나올 것으로 전망했다. 현재 건설 속도가 이어질 경우 새로 구축되는 데이터센터에 매년 약 30GW* 규모의 전력이 필요하다는 분석이다. 이 규모에는 서버 · 스토리지 · 네트워크 등 IT 장비가 쓰는 전기뿐 아니라 냉각 시스템, 전력 분배 장비, 안정적 운영을 위한 예비 용량까지 포함된다.

AI 인프라의 확장성은 이를 뒷받침하는 데이터센터의 운영 역량과도 직결된다. 대규모 장비를 지속적으로 가동하려면 충분한 전력 인프라와 냉각 구조, 피크 수요*에 대응할 운영 여력을 함께 확보해야 한다. AI 확장의 제약 조건이 개별 반도체의 성능을 넘어 데이터센터 전체의 운영 능력으로 넓어지고 있는 이유다.

AI 데이터센터에서는 가속기뿐 아니라 메모리, 스토리지, 네트워크 등 시스템 전반에서 전력이 소비된다.

2편에서 살펴본 데이터 이동도 에너지 부담과 연결된다. 데이터가 여러 계층을 오가고 이동량과 이동 횟수가 늘어날수록 데이터 전송에 필요한 에너지 부담도 커질 수 있기 때문이다.

전력 소비가 늘면 장비에서 발생하는 열도 많아진다. 데이터센터의 냉각은 크게 서버와 랙에서 발생한 열을 제거하는 과정과, 회수한 열을 외부로 배출하는 과정으로 나눌 수 있다. 전자에는 공랭과 액체 냉각 등이, 후자에는 냉각수 순환과 열 교환 설비 등이 활용되며, 이 과정에서도 추가적인 에너지가 필요하다. 외부에서 공급된 전력을 서버와 장비가 쓸 수 있는 형태로 변환하고 분배하는 과정에서도 효율 손실이 생긴다. 결국 AI 데이터센터의 효율은 개별 반도체의 특성만이 아니라 연산, 데이터 이동, 전력 변환, 냉각까지 시스템 전반의 효율에 달려 있다.

특히 고성능 AI 장비가 늘어날수록 랙 단위 전력 밀도*와 발열이 높아지면서, 열 관리의 중요성이 커진다. 충분한 냉각이 뒷받침되지 않으면 연산 장치가 스스로 동작 속도를 낮춰 성능이 떨어지고, 장비 안정성과 수명, 유지보수 비용에도 영향을 미치기 때문에, 냉각은 서버, 랙, 클러스터 구성은 물론 패키징*, 전력 공급 구조와 함께 설계 초기부터 고려해야 할 요소로 자리 잡고 있다.

냉각 설계의 중요성은 AI 장비의 집적도가 높아질수록 더욱 커진다. 데이터센터의 랙 밀도는 아직 시설마다 차이가 크지만, 일부 고밀도 환경에서는 변화가 이미 나타나고 있다. Uptime Institute의 2025년 글로벌 데이터센터 조사에서 응답자의 82%는 자사 시설의 최고 밀도 랙이 30kW 미만이라고 답한 반면, 일부 캐비닛에서는 100kW를 넘는 사례도 확인됐다. 고밀도 AI 인프라가 보편화된 단계까지는 아니지만, 일부 영역에서는 이미 기존 전원 · 냉각 설계로 대응하기 어려운 수준까지 전력 밀도가 높아지고 있는 것이다.

랙 밀도가 높아지면 냉각 방식도 달라진다. 전통적인 공랭 방식은 여전히 널리 쓰이지만, 고밀도 AI 시스템에서는 열원 가까이에서 열을 제거하는 액체 냉각*이나 칩 인접 냉각*이 핵심 기술로 부상하고 있다. 특히 고성능 프로세서와 메모리가 촘촘하게 배치될수록 열을 효과적으로 배출하는 구조가 필요해지면서, 냉각 설계의 초점도 데이터센터 공간 전체의 온도를 관리하는 방식에서, 랙과 프로세서처럼 발열이 집중되는 지점의 열을 직접 제어하는 방식으로 옮겨가고 있다. 반도체 패키징과 열 설계를 함께 고려해야 하는 이유도 여기에 있다.

☑ AI 시대, 도시의 난방 자원이 되는 데이터센터 폐열

데이터센터의 에너지 문제는 건물 밖으로도 확장되고 있다. 핀란드 하미나(Hamina)에서는 구글 데이터센터의 폐열을 회수해 지역 난방에 활용하는 프로젝트를 진행하고 있다. 구글은 데이터센터에서 회수한 열을 인근 지역 난방망에 제공하며, 하미난 에너지아(Haminan Energia)는 이를 통해 가정과 학교, 공공 서비스 건물 등을 포함한 지역 난방 수요의 약 80%를 충당할 수 있다고 밝혔다.

 

폐열 활용은 지역 난방망, 기후, 데이터센터 위치, 열 회수 설비, 운영 비용 등 여러 조건이 모두 맞아야 하므로 모든 데이터센터에 일률적으로 적용할 수 있는 방식은 아니다. 그럼에도 데이터센터에서 발생하는 열을 단순히 버려야 할 부산물이 아니라, 지역 인프라와 연결될 수 있는 자원으로 바라본다는 점에서 의미가 있다. 데이터센터의 효율을 내부 전력 소비와 냉각 비용의 문제로만 보지 않고, 발생한 열의 활용까지 확장한 사례다.

 

이미지 출처: 구글

AI 인프라의 전력 수요가 빠르게 늘고 있지만, 데이터센터가 사용할 수 있는 전력과 냉각 용량을 같은 속도로 계속 확대하기는 어렵다. 전력망 연결과 발전 · 송전 인프라 확충에는 시간과 비용이 필요하고, 데이터센터 자체에도 공급 가능한 전력과 처리할 수 있는 열에 물리적인 한계가 있기 때문이다. 이에 따라 필요한 에너지를 더 많이 확보하는 것과 함께, 확보한 에너지를 얼마나 효율적으로 활용하느냐가 AI 인프라의 또 다른 과제가 되었다.

이때 중요한 기준이 전력당 성능*이다. 같은 전력으로 더 많은 추론 요청을 처리하거나, 같은 성능을 더 적은 전력으로 구현할 수 있다면 데이터센터의 운영 효율과 확장 여력은 그만큼 높아진다. 전력 효율이 단순한 비용 절감 수단에 그치지 않고, 제한된 인프라 안에서 AI 서비스를 얼마나 더 확장할 수 있는지를 결정하는 기준이 되는 것이다.

여기서 반도체와 시스템 설계의 역할도 달라진다. 프로세서와 메모리는 처리 성능뿐 아니라 전력 소비와 데이터 이동을 고려해야 하고, 소프트웨어 역시 작업 배치와 실행 시점을 조율해 시스템 자원을 효율적으로 활용해야 한다. 같은 전력으로 더 많은 작업을 처리하려면 프로세서, 메모리, 서버, 랙, 냉각, 소프트웨어 운영이 하나의 목표 아래 조율돼야 한다.

이 변화는 데이터센터 투자 기준도 바꾼다. 필요한 전력을 어디에서 안정적으로 확보하고, 발생하는 열을 어떻게 관리할 수 있는지는 데이터센터를 어디에 구축하고 어떤 인프라와 연결할 것인지에도 영향을 미친다. 이에 따라 AI 데이터센터의 투자와 입지 기준에서도 토지와 네트워크 접근성뿐 아니라 전력 확보 가능성, 계통 연결, 냉각 자원, 운영 비용이 핵심 변수로 떠오른다. 클라우드 기업과 데이터센터 운영자는 서버 장비뿐 아니라, 에너지 조달 전략, 냉각 인프라, 지역 전력망과의 연계 방식까지 함께 검토해야 한다.

전력 · 냉각 기술 기업의 역할도 더욱 커지는 추세다. 전력 장비, 냉각 시스템, 열 교환 기술, 데이터센터 건설, 전력망 운영, 에너지 공급망이 AI 인프라와 더욱 긴밀하게 연결되는 것이다. 맥킨지는 데이터센터가 기존 · 신흥 허브 지역에 집중되면서 발전과 송전 인프라가 이미 제약받는 지역에서는 입지와 전력망의 불일치가 에너지 공급 문제로 이어질 수 있다고 분석했다.

AI 시대의 데이터센터는 높은 연산 성능과 이를 뒷받침할 운영 효율을 동시에 갖춰야 한다.

한정된 전력과 열 관리 환경에서도 더 많은 AI 워크로드를 안정적으로 처리하려면 연산 프로세서와 메모리, 서버, 냉각, 소프트웨어는 물론 에너지 공급과 데이터센터 운영까지 하나의 시스템으로 맞물려야 한다. 이제 AI 인프라 경쟁은 개별 기술의 성능 경쟁을 넘어 에너지와 공급망, 운영 역량까지 아우르는 단계로 확장되고 있다.

다음 편에서는 이러한 변화가 AI 인프라의 설계 단위를 어떻게 바꾸고 있는지 살펴본다. 개별 서버를 넘어 랙과 클러스터 중심으로 재편되는 AI 시스템의 진화 방향을 짚어본다.