AI를 이야기할 때 가장 먼저 떠오르는 것은 거대한 모델과 고성능 반도체다. 더 많은 데이터를 학습하고, 더 빠르게 추론하며, 더 복잡한 작업을 수행하려면 강력한 연산 능력이 필요하다. 그러나 AI가 실제 서비스와 산업 현장으로 확산될수록 경쟁의 초점은 개별 칩의 성능을 넘어 그 칩이 작동하는 인프라 전체의 구조로 옮겨간다.

이 변화의 중심에는 데이터센터가 있다. 과거 데이터센터가 서버와 스토리지를 모아 데이터를 저장하고 처리하는 시설에 가까웠다면, 오늘날 데이터센터는 AI 모델을 학습시키고, 수많은 추론 요청을 처리하며, 데이터를 실시간으로 이동시키는 AI 서비스의 핵심 인프라로 진화했다. 오늘날 AI 데이터센터는 컴퓨트*, 메모리, 스토리지, 네트워크, 전력과 냉각이 유기적으로 연결돼 하나의 시스템으로 작동할 때 비로소 안정적인 AI 서비스를 구현할 수 있다.

AI 데이터센터가 주목받는 배경에는 단순한 서버 증설을 넘어선 구조적 변화가 작용한다. AI 모델이 커질수록 연산량은 물론 데이터 이동량도 함께 늘어난다. 학습 단계에서는 방대한 데이터를 반복적으로 읽고 처리해야 하고, 추론 단계에서는 사용자 요청에 맞춰 필요한 정보를 빠르게 불러와야 한다. AI 서비스가 검색, 업무 지원, 콘텐츠 생성, 제조, 금융, 헬스케어 등 여러 분야로 넓어질수록 데이터센터가 처리해야 하는 요청도 더 빈번하고 큰 규모로 이어진다.

이 흐름은 데이터센터의 설계 기준도 바꾼다. 과거에는 얼마나 많은 서버를 수용하고, 얼마나 큰 저장 용량을 확보하느냐가 주요 기준이었다. 그러나 AI 시대에는 컴퓨트, 메모리, 스토리지, 네트워크, 전력과 냉각을 어떻게 배치하고 연결하느냐가 성능과 효율을 가르는 핵심 조건으로 떠오른다. 연산 장치가 아무리 강력해도 스토리지에서 필요한 데이터를 제때 불러오지 못하거나, 메모리가 이를 원활하게 전달하지 못하거나, 네트워크에 병목이 생기거나, 전력과 냉각이 뒷받침되지 않으면 전체 성능은 제약을 받는다.

따라서 오늘날 데이터센터는 단순한 저장 · 처리 시설을 넘어, AI 서비스를 실제 환경에서 안정적으로 실행하는 생산 인프라로 재정의된다. AI가 실험실을 넘어 일상과 산업으로 확산될수록, 데이터센터는 AI의 가능성을 실제 서비스로 구현하는 핵심 기반으로 자리 잡는다.

☑ 데이터센터는 어디까지 갈 수 있을까?

 

오늘날 데이터센터는 거대한 건물 안의 시설을 넘어, 운영 환경과 목적에 따라 다양한 형태로 진화하고 있다. 마이크로소프트(Microsoft)는 프로젝트 네이틱(Project Natick)*을 통해 해저 환경에서 데이터센터의 운영 가능성과 냉각 효율성을 검증했다. 최근에는 우주 궤도로 무대를 옮기려는 시도가 구상 단계를 넘어 실증으로 이어지고 있다. 구글(Google)은 2025년 11월 AI 반도체 TPU를 실은 위성으로 연산을 수행하는 프로젝트 선캐처(Project Suncatcher)*를 공개하고 2027년 초 시험 위성 2기 발사를 예고했다. 같은 달 스타트업 스타클라우드(Starcloud)*는 엔비디아(NVIDIA) GPU를 실은 위성을 궤도에 올렸고, 그해 12월 우주에서 처음으로 AI 모델을 학습시키는 데 성공했다. 이들 사례는 특정 형태의 확산보다, 데이터센터를 바라보는 관점의 변화를 보여준다.

 

AI 시대 데이터센터를 둘러싼 질문도 달라졌다. 이제 데이터센터 설계의 초점은 서버를 얼마나 많이 넣을 것인가에서, 전력 · 냉각 · 네트워크 · 데이터 이동을 어떤 환경에서 가장 효율적으로 설계할 것인가로 바뀐다.

* 프로젝트 네이틱(Project Natick): 마이크로소프트가 해저 데이터센터의 가능성을 확인하기 위해 2014년부터 진행한 실험 프로젝트. 2018년 스코틀랜드 오크니 제도 해역에 서버 864대를 담은 밀폐 용기를 설치해 약 2년간 운영하며 해저 환경에서 데이터센터 운영과 냉각 효율 등을 테스트한 후 2020년 인양했다.
* 프로젝트 선캐처(Project Suncatcher): 구글이 우주 궤도에서 대규모 머신러닝 연산을 수행하기 위해 진행하는 연구 프로젝트. 위성 기업 플래닛(Planet)과 함께 2027년 초 시험 위성 2기를 발사할 계획이다.
* 스타클라우드(Starcloud): 우주 궤도에 데이터센터를 구축하는 것을 목표로 하는 미국 스타트업. 엔비디아가 투자했으며, 2025년 11월 엔비디아 H100을 실은 위성을 발사해 데이터센터급 GPU를 처음으로 궤도에 올렸다.

▲ 해저 환경에서 데이터센터 운영가능성을 살펴본 마이크로소프트(Microsoft)는 프로젝트 네이틱(Project Natick)(출처: Microsoft Research, Project Natick )

AI 데이터센터를 이해하려면 이를 구성하는 핵심 요소를 함께 살펴봐야 한다. 중요한 것은 각 요소를 개별적으로 보는 것이 아니라, AI 시대에 그 역할이 어떻게 달라졌고, 왜 서로 긴밀하게 연결되어야 하는지를 이해하는 것이다.

첫 번째는 컴퓨트다. GPU, AI 가속기*, CPU 등 연산 장치는 대규모 학습과 추론을 처리하는 엔진이다. 모델이 복잡해질수록 컴퓨트 성능의 중요성도 커진다. 그러나 AI 데이터센터에서 컴퓨트는 단독으로 성능을 내는 장치라기보다, 데이터를 안정적으로 공급받고 다른 자원과 지연 없이 연결될 때 제 역할을 하는 연산 자원으로 성격이 바뀌고 있다.

두 번째는 메모리다. 메모리는 연산에 필요한 데이터를 담아두고, 필요한 순간에 충분한 대역폭으로 연산 장치에 전달하는 계층이다. 가속기가 제 성능을 내려면 필요한 데이터가 연산 장치 가까이에서 제때 공급돼야 한다. 이 때문에 AI 데이터센터의 메모리는 하나의 제품이 아니라 여러 층으로 나뉜다. 가속기 바로 옆에서 가장 넓은 대역폭을 담당하는 HBM(고대역폭 메모리)과, 그보다 용량이 크고 서버 전체가 함께 사용하는 서버용 DRAM이 서로 역할을 나눠 맡는 식이다. 이에 따라 메모리는 보조 장치를 넘어, 컴퓨트와 데이터 사이의 흐름을 잇는 핵심 요소로 자리 잡고 있다.

세 번째는 스토리지다. 스토리지는 학습 데이터, 모델 관련 데이터, 사용자 요청, 연산 결과 등 대규모 데이터를 저장하고 다시 불러오는 계층이다. 과거 스토리지의 역할이 장기 보관에 가까웠다면, AI 시대에는 데이터를 얼마나 빠르게 저장하고 불러오느냐가 서비스 응답성과 시스템 효율을 가르는 기준으로 떠올랐다.

네 번째는 네트워크다. 대규모 학습과 추론은 여러 서버와 가속기가 동시에 데이터를 주고받으며 하나의 작업을 나눠 수행하는 방식으로 이뤄진다. 이 과정에서 네트워크는 단순한 통신 수단을 넘어, 분산된 연산 자원을 하나의 시스템처럼 동작하도록 연결하는 통신 인프라가 된다. AI 워크로드가 커질수록 지연시간*과 대역폭*, 데이터 전송 효율은 데이터센터의 확장성을 가르는 핵심 기준으로 작용한다.

다섯 번째는 전력 · 냉각이다. 고성능 장비가 촘촘하게 배치될수록 전력 밀도*와 발열도 높아진다. 전력과 냉각은 운영 단계에서 관리하던 요소를 넘어, AI 시스템의 안정성과 확장성을 확보하기 위해 설계 초기부터 고려해야 하는 핵심 요건으로 자리 잡았다.

이 다섯 가지 요소를 실제 환경에서 어떻게 배치하고 연결하느냐가 시스템 구조의 문제다. 서버, 랙*, 클러스터*는 이러한 핵심 요소를 연결하고 구성하는 설계 단위에 해당한다. AI 워크로드가 커질수록 설계의 기준점은 개별 서버에서 랙과 클러스터 규모로 넓어진다.

또 다른 변화는 설계 단위의 확대다. 기존 데이터센터에서는 개별 서버 단위의 성능과 운영 효율이 주요 기준이었다. 그러나 AI 데이터센터에서는 설계의 기준점이 서버를 넘어 랙과 클러스터 규모로 넓어진다.

대규모 AI 학습과 추론은 하나의 서버만으로 처리하기 어렵다. 여러 가속기와 서버가 동시에 데이터를 주고받고, 연산 결과를 공유하며, 거대한 작업을 나눠 수행한다. 이에 따라 데이터센터 내부 설계도 서버에서 랙으로, 다시 클러스터 단위로 확장된다.

랙 단위에서는 컴퓨트, 메모리, 전력 공급, 냉각, 네트워크 배치를 함께 고려해야 한다. 클러스터 단위에서는 여러 랙이 하나의 연산 시스템처럼 동작해야 하므로 네트워크 구조와 데이터 이동 효율의 중요성이 더 커진다. 1편에서는 이런 흐름을 개괄하고, 시스템 구조의 구체적인 진화 방향은 시리즈 후반에서 다룬다.

시장 변화도 같은 흐름을 뒷받침한다. 옴디아(Omdia)*는 AI 데이터센터 칩 시장이 2024년 1,230억 달러에서 2025년 2,070억 달러로 큰 폭으로 성장했으며, 2030년에는 2,860억 달러 규모에 이를 것으로 전망했다. AI 인프라 투자가 커질수록 데이터센터는 더 많은 칩을 수용하는 공간을 넘어, 칩 · 서버 · 랙 · 클러스터가 맞물려 작동하는 고도화된 시스템으로 재편된다.

이러한 변화는 실제 데이터센터의 규모에서도 드러난다. 마이크로소프트(Microsoft)는 위스콘신(Wisconsin) AI 데이터센터인 페어워터(Fairwater)를 2026년 6월 가동하기 시작했다. 마이크로소프트는 앞서 이곳을 소개하며, AI 클러스터가 사용 · 생성하는 데이터를 저장 · 처리하기 위한 데이터센터의 길이가 축구장 다섯 개에 달한다고 설명했다. 이는 연산과 데이터, 저장 인프라가 거대한 단위로 함께 설계되는 구조를 보여주는 사례다.

이러한 흐름은 데이터센터 투자의 범위까지 넓힌다. 데이터센터 투자는 서버와 장비 구매를 넘어 AI 반도체, 네트워크, 전력·냉각, 건설 · 인프라 등 AI 생태계 전반을 아우르는 산업 투자로 확장된다.

클라우드 기업에는 AI 서비스를 안정적으로 운영하기 위한 데이터센터 설계와 전력 확보가 핵심 과제로 떠오른다. 서버와 네트워크 기업은 랙과 클러스터 단위의 성능과 연결성을 높이는 역할을 맡는다. 전력 · 냉각 기업은 AI 데이터센터 확장에 필요한 새로운 인프라 파트너로 부상한다. 반도체 기업 역시 개별 칩 성능을 넘어, 실제 데이터센터 환경에서 그 칩이 어떻게 작동하는지까지 고려해야 한다.

이 변화는 메모리의 위상도 끌어올린다. 메모리는 AI 시스템이 필요한 데이터에 빠르게 접근할 수 있도록 지원하는 핵심 계층이다. 또한 컴퓨트와 데이터 사이의 흐름을 원활하게 만들어 시스템 전체의 효율을 높이는 기반이 된다. 이처럼 AI 인프라 전반에서 메모리의 역할이 커지면서, 메모리 기업의 시각도 더 큰 의미를 갖는다.

데이터센터가 일상과 만나는 방식도 달라진다. 영국 데번에서는 세탁기 크기만 한 소형 데이터센터에서 나오는 열로 공공 수영장을 데운 사례가 나왔다. 정원 창고에 설치한 소형 데이터센터로 집을 난방하거나, 책상 아래 고성능 GPU 서버가 사무실 난방에 활용된 사례도 소개됐다. 이들 사례는 서버가 만들어내는 열이 더 이상 버려지는 부산물이 아니라 지역 시설의 에너지 자원으로 재활용될 수 있음을 보여준다. 이런 점에서 데이터센터는 AI 서비스를 위한 시설을 넘어, 전력 · 냉각 · 지역 인프라와 연결되는 산업 시설로 그 역할이 확장되고 있다.

이 흐름이 남기는 메시지는 분명하다. AI 인프라의 경쟁력은 개별 장비의 성능보다, 여러 기술 요소를 하나의 시스템으로 연결하고 최적화하는 역량에서 비롯된다. 컴퓨트, 메모리, 스토리지, 네트워크, 전력 · 냉각이 유기적으로 맞물릴 때 데이터센터는 실제 서비스 환경에서 AI를 안정적으로 실행하는 기반이 된다.

다음으로 살펴볼 지점은 이 구조 안에서 데이터가 움직이는 방식이다. AI 데이터센터를 다층 인프라로 이해하는 일은 출발점에 가깝다. 실제 AI 성능은 필요한 데이터가 어디에 저장되어 있고, 어떤 경로를 거쳐, 얼마나 빠르게 연산 장치에 도달하는지에 달려있다. 다음 편에서는 왜 더 빠른 GPU만으로는 AI 성능이 완성되지 않는지, 그리고 그 한계를 드러내는 데이터 이동과 병목의 문제를 살펴본다.