AI 반도체의 경쟁력은 이제 개별 연산 칩의 계산 속도만으로 결정되지 않는다. 데이터가 어디에 있고, 어떤 길을 지나며, 얼마나 기다리지 않고 도착하는지가 AI 팩토리(AI Factory) 전체의 성능을 좌우한다. AI 시대의 데이터 고속도로가 전기에서 빛으로 바뀌고 있다.

거대한 산업단지를 떠올려 보자. 최신 설비를 갖춘 공장이 수백 채 들어섰고, 각 공장은 눈 깜짝할 사이에 제품을 만들어 낸다. 그런데 공장 사이를 잇는 도로가 왕복 2차선뿐이라면 어떻게 될까? 원료를 실은 트럭은 창고 앞에 줄을 서고, 완성품도 다음 공정으로 제때 이동하지 못한다. 공장의 기계는 빨라졌지만, 그만큼 생산 속도가 올라가는 것은 아니다. 이는 산업단지 전체의 생산 속도가 결국은 도로에서 결정되기 때문이다. 오늘날 대규모 AI 데이터센터, 이른바 ‘AI 팩토리’에서 벌어지는 일도 이와 닮았다.

▲ AI 팩토리의 연산 장비가 아무리 많아도 데이터가 지나는 길이 좁으면 GPU는 데이터를 기다리게 된다.

GPU(Graphics Processing Unit, 그래픽처리장치)는 AI에 필요한 수많은 계산을 동시에 처리하는 데 강하다. 하지만 계산할 재료가 도착해야 일을 시작할 수 있다. 학습 데이터와 AI 모델이 학습한 값인 ‘가중치’를 메모리에서 가져와야 하기 때문이다. 여러 GPU가 하나의 모델을 함께 학습할 때는 GPU 간에 계산 결과도 쉴 새 없이 주고받아야 한다. 따라서 GPU 자체의 연산 속도가 빨라질수록, 주변 메모리와 네트워크의 데이터 전송 능력이 더욱 중요해진다.

지금까지 서버를 이루는 반도체들을 서로 연결해 온 것은 ‘구리 배선’이다. 구리는 다루기 쉽고, 같은 패키지 기판 위의 칩처럼 매우 짧은 거리에서는 신호를 효율적으로 전달한다. 문제는 속도가 빨라지고 거리가 멀어질 때다. 전기 신호는 구리 선을 지나는 동안 약해지고 서로 간섭한다. 흐릿해진 신호를 복원하는 리피터*나 보정 회로에는 추가 전력이 필요하고, 그 전력은 다시 열과 냉각 부담으로 이어진다.

▲ 구리는 패키지 내부처럼 짧은 거리에서 효율적이지만, 속도와 거리가 커질수록 신호 손실과 발열, 리피터 전력 부담이 증가해 한 가닥으로 여러 파장을 전달하는 광 연결의 장점이 커진다.

이러한 신호 손실과 전력 부담을 줄이기 위해, 더 많은 데이터를 빛으로 전달하는 광 연결이 주목받고 있다. 광섬유는 한 가닥 안에 서로 다른 파장의 빛을 동시에 실어 보낼 수 있다. 각 파장에 서로 다른 데이터를 담는 파장분할다중화*를 이용하면, 광섬유 수를 늘리지 않고도 전송 용량을 키울 수 있다.

광섬유가 주목받고 있지만, 그렇다고 구리가 사라지는 것은 아니다. 칩 내부와 매우 짧은 연결에서는 구리 선을 통한 전기 연결이 여전히 유리하다. 광 연결은 이미 데이터센터의 랙 사이와 건물 사이 같은 장거리 구간에서 표준이 되었고, 이제 더 짧은 구간을 향해 들어오고 있다. 핵심은 전기와 빛의 승부가 아니라 역할 분담이다. 구리 배선에서 신호 손실과 전력 · 발열 부담이 커지는 구간부터, 더 많은 정보를 더 효율적으로 전달할 수 있는 ‘빛의 고속도로’를 놓는 것이다.

광섬유가 고속도로라면, 그 위에 데이터를 올리고 원하는 곳으로 보내고 다시 내려 주는 시설도 필요하다. 실리콘 포토닉스는 이 시설을 작은 칩 위에 만든다. 칩 안에는 빛이 지나가는 미세한 길인 ‘광도파로’가 있다. 빛은 주변 물질과의 굴절률 차이에 따른 전반사 원리로 이 길 안에 갇혀 이동한다. 그 곁에는 반도체 공정으로 만든 변조기와 광검출기가 자리한다. 변조기는 전기 데이터에 따라 빛의 세기 등을 바꾸어 정보를 싣고, 광검출기는 도착한 빛을 전기 신호로 바꾸어 정보를 읽어 낸다.

▲ 실리콘 포토닉스는 광섬유로 들어온 빛을 실리콘 광집적회로(PIC, Photonic Integrated Circuit)의 광도파로로 전달하고, 링 공진기와 변조기 · 광검출기 같은 집적 소자로 빛을 제어한다. 이 작은 칩 안에서 전기 신호를 빛에 싣고, 도착한 빛을 다시 전기 신호로 읽을 수 있다.

‘실리콘’이라는 이름의 의미는 단순히 재료 하나에 있지 않다. 반도체 산업이 발전시켜 온 미세 가공과 대량 생산 방법을 광소자에도 적용할 수 있다는 뜻이 더 크다. 수많은 광경로를 작고 정밀하게 반복해 만들고 전자회로 가까이에 집적할 수 있다.

다만 빛을 제어하는 것과 빛을 직접 만들어 내는 것은 다른 일이다. 실리콘은 전류를 흘려 빛을 효율적으로 만들어 내기에는 불리한 재료다. 그래서 통신용 레이저에는 인화인듐(InP, Indium Phosphide) 같은 화합물반도체를 사용한다. 이 레이저를 실리콘 포토닉스 칩 밖에 두고 빛을 공급하는 방법이 외부 레이저 광원(ELS, External Laser Source) 방식이다. 레이저를 열이 많이 나는 전자 칩과 떨어뜨려 배치할 수 있고, 교체 가능한 모듈로 만들면 유지보수도 쉬워진다.

그렇다면 이렇게 만든 광 칩을 데이터를 처리하는 전자 칩과 얼마나 가까이 두는 것이 좋을까? 이 배치 문제에 대한 한 가지 답이 공동 패키징 광학(CPO, Co-Packaged Optics)이다.

데이터센터의 스위치는 수많은 서버가 주고받는 데이터를 목적지로 보내 주는 교통정리 장치다. 그 앞면에는 전기 신호와 빛을 서로 바꾸는 광모듈이 줄지어 꽂혀 있다. 이렇게 꽂았다 뺄 수 있는 형태를 ‘플러거블(Pluggable)’이라고 한다. 고장 난 모듈만 바꾸기 쉽고 운영 경험도 풍부하다는 장점이 있다. 그러나 스위치의 두뇌인 주문형반도체(ASIC, Application-Specific Integrated Circuit)에서 전면부 광모듈까지는 기판 위로 전기 신호가 이동해야 한다. 스위치 용량이 커지고 포트 속도가 빨라질수록 이 짧아 보이는 길이 전력과 신호 품질을 좌우하는 부담이 된다.

CPO는 전기 신호와 빛을 서로 바꾸는 핵심 부품인 ‘광 엔진’을 스위치 ASIC 바로 곁에 둔다. 두 부품은 칩을 올리고 전기적으로 연결하는 하나의 공통 받침판, 즉 패키지 기판 위에 함께 배치된다. 공장에서 떨어져 있던 물류 터미널을 공장 바로 옆의 같은 부지로 옮기는 셈이다. 전기 신호가 이동하는 거리는 짧아지고, 이후의 긴 구간은 광섬유가 맡는다. 그 결과, 제한된 스위치 면적에서 더 많은 데이터를 내보내는 대역폭 밀도는 높아지고, 고속 전기 신호를 보정하는 데 쓰이던 전력을 줄일 여지가 생긴다.

▲ 왼쪽의 플러거블 방식은 스위치 ASIC에서 전면부 광모듈까지 전기 신호가 이동한다. 오른쪽의 CPO는 중앙의 스위치 ASIC과 주변의 광 엔진을 하나의 공통 패키지 기판 위에 배치해 전기 연결 거리를 크게 줄인다.

CPO에서는 광소자와 이를 구동하고 신호를 처리하는 전자회로를 함께 설계해야 한다. 실리콘 포토닉스는 기존 반도체 제조 기반과 첨단 패키징 기술을 활용해 전자 칩과 긴밀하게 결합할 수 있다는 강점이 있다. 이는 소자부터 제조 공정, 패키지와 시스템까지 함께 최적화하는 ‘시스템–기술 공동 최적화(STCO, System-Technology Co-Optimization)’에도 도움이 된다.

다만 레이저의 빛을 칩에 공급하고 광섬유를 정밀하게 연결하는 일은 여전히 까다롭다. 열이 많이 나는 ASIC 곁에서도 광소자가 안정적으로 작동해야 한다. 부품 하나의 불량이 패키지 전체에 영향을 줄 수 있어, 정상 제품의 비율인 ‘수율’을 높이고 불량을 찾아 수리하기 쉬운 구조를 만드는 것도 중요하다.

CPO는 이처럼 까다로운 기술이지만, AI 기업들이 주목하는 이유는 분명하다. GPU의 계산 능력을 충분히 활용하려면 네트워크의 효율도 함께 높여야 하기 때문이다. GPU를 하나의 큰 컴퓨터처럼 긴밀하게 묶든, 여러 서버를 네트워크로 연결해 규모를 키우든, GPU가 늘어날수록 이들을 잇는 연결의 부담도 커진다. 이에 엔비디아(NVIDIA), 브로드컴(Broadcom) 등 글로벌 빅테크 기업들은 CPO를 적용한 네트워크 제품을 잇달아 선보이며 상용화에 속도를 내고 있다.

효과를 검증한 결과도 나오고 있다. 메타(Meta)는 2025년 유럽광통신학술대회(ECOC, European Conference on Optical Communication)에서 CPO 스위치 시스템의 평가 결과를 공개했다. 해당 시험에서 광 연결 부분의 전력 소비는 비교 대상 플러거블 방식보다 약 65% 낮았으며, 장시간 가동을 통해 해당 시험 조건에서 연결 안정성도 확인했다*.

CPO와 함께 기존 구조의 장점을 살리는 방식도 개발되고 있다. LPO(Linear Pluggable Optics)는 꽂았다 뺄 수 있는 광모듈 구조를 유지하면서, 신호 왜곡을 보정하던 디지털신호처리장치(DSP, Digital Signal Processor)를 생략해 전력 소비를 줄인다. NPO(Near-Packaged Optics)는 광 엔진을 스위치 칩 가까이 두되, 같은 패키지에 넣지 않는 방식이다.

▲ LPO는 플러거블 광모듈 구조를 유지하면서 모듈 내부 DSP를 생략하고, NPO는 광 엔진을 스위치 칩의 패키지 밖 가까이에 배치한다.

CPO · LPO · NPO는 차례로 거치는 단계가 아니라, 성능과 전력 효율, 냉각과 유지보수 조건에 따라 선택하는 접근법이다. 플러거블 구조는 교체가 쉽다는 장점이 있지만, 대역폭과 전력 효율에 대한 요구가 높은 대규모 AI 시스템일수록 전기 연결을 패키지 수준으로 줄이는 CPO의 중요성이 커진다. 여러 방식이 공존하는 가운데, 전력 절감 효과와 운영 안정성이 실제 환경에서 확인되는 구간부터 CPO 적용이 확대될 것으로 예상된다.

HBM(High Bandwidth Memory, 고대역폭 메모리)과 CPO는 서로 다른 구간에서 GPU가 데이터를 기다리는 시간을 줄인다. HBM은 여러 D램을 쌓아 GPU 바로 옆에 배치한 메모리다. 같은 패키지 안에서 인터포저*를 통해 GPU와 짧고 넓은 전기 통로로 연결된다. 반면 CPO는 여러 GPU 시스템을 연결하는 네트워크 구간 중 스위치 칩 가까이에서 전기 신호를 빛으로 바꾸어 데이터 이동의 효율을 높인다. HBM이 가까이에서 데이터를 충분히 공급하더라도 GPU 사이의 통신이 막히면 전체 성능을 끌어올리기 어렵다. 메모리와 네트워크가 함께 뒷받침되어야 하는 이유다.

▲ HBM은 GPU와 같은 패키지 안에서 데이터 이동 거리를 줄이고, CPO는 여러 GPU 시스템을 연결하는 네트워크의 데이터 이동 효율을 높인다.

데이터를 빠르게 공급하는 것과 함께, 여러 시스템에 나뉜 메모리 용량을 효율적으로 활용하는 것도 중요하다. 메모리가 시스템마다 따로 배정되어 있으면, 어느 곳에서는 용량이 부족한데 다른 곳에서는 남는 상황이 생길 수 있다. 이를 개선하기 위한 방식이 ‘메모리 풀링(Memory Pooling)’이다. 이는 메모리 자원을 하나의 큰 자원처럼 묶어 여러 프로세서가 필요에 따라 나누어 쓰는 방식이다. 메모리 확장과 풀링을 지원하는 연결 규격으로는 CXL(Compute Express Link)이 있다. 여기서 빛의 역할은 GPU 사이의 통신을 넘어, 프로세서가 메모리 풀에 접근하는 경로로도 확장될 수 있다. 이 경로에 실리콘 포토닉스 기반 광 연결을 활용하면, 연결 거리와 전송 용량을 확장하면서 전력 부담을 줄일 가능성이 있다.

그렇다고 GPU 바로 옆의 HBM까지 모두 광으로 연결해야 하는 것은 아니다. 빠른 접근이 필요한 데이터는 짧고 넓은 전기 연결로 이어진 HBM에 두고, 추가 용량이나 공유가 필요한 데이터는 광으로 연결된 메모리 풀에 두는 하이브리드 구성을 생각할 수 있다. 다만 광 연결을 쓴다고 멀리 있는 메모리에 HBM만큼 빠르게 접근할 수 있는 것은 아니다. 어떤 데이터를 어디에 두고 언제 옮길지, 그 과정에서 발생하는 지연과 전력 부담은 어느 정도인지 함께 검증해야 한다.

앞으로 AI 반도체의 경쟁력은 GPU 하나의 계산 속도뿐 아니라, GPU와 메모리, 네트워크를 함께 설계하고 이를 구현하는 광학 · 패키징 · 시스템 기술을 얼마나 긴밀하게 결합하느냐에 달려 있다. 전기와 빛도 각자의 장점을 살릴 수 있는 구간에서 함께 쓰이게 된다. 결국 가장 강한 AI 팩토리는 가장 빠른 GPU 한 개를 가진 곳이 아니라, 수많은 GPU와 메모리가 서로를 기다리지 않고 함께 일하는 곳이다. 반도체가 빛을 필요로 하는 이유도 바로 여기에 있다.

※본 콘텐츠는 AI/반도체 산업에 관한 인사이트를 제공하는 외부 전문가 칼럼 콘텐츠로, SK하이닉스의 공식 입장과는 다를 수 있습니다.