▲ OCP 글로벌 서밋 2025에 마련된 SK하이닉스 부스 전경
SK하이닉스는 13일(미국 현지기준)부터 나흘간 캘리포니아주 새너제이(San Jose)에서 열린 ‘OCP 글로벌 서밋 2025(OCP Global Summit 2025, 이하 OCP 서밋)’에 참가해 AI와 데이터센터 인프라 향상을 위한 풀 스택 AI 메모리 포트폴리오를 선보였다고 17일 밝혔다.
OCP 서밋은 전 세계 최대 규모의 개방형 데이터센터 기술 협력 협회인 OCP(Open Compute Project)가 주최하는 글로벌 컨퍼런스다. 올해 행사는 ‘Leading the Future of AI(AI의 미래를 선도하다)’라는 주제로 진행됐으며, 유수의 글로벌 기업 관계자와 개발자 등이 모여 데이터센터와 AI 인프라 분야의 최신 동향을 공유하고 효율적인 설루션 개발 방향을 논의했다.
SK하이닉스는 ‘MEMORY, Powering AI and Tomorrow(메모리, AI와 미래를 움직이다)’라는 콘셉트 아래 AI 인프라의 성능과 효율을 극대화할 다양한 혁신 기술을 선보였다. 전시 부스는 ▲HBM* ▲AiM* ▲D램 ▲eSSD* 등의 섹션으로 구성됐으며, 제품 캐릭터를 활용한 디자인과 기술을 설명하는 3D 구조물, 실시간 제품 시연 등이 어우러진 체험형 공간으로 꾸며졌다.
* HBM(High Bandwidth Memory): 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E)-6세대(HBM4) 순으로 개발됨
* AiM(Accelerator-in-Memory): 메모리에 프로세서의 연산 기능을 탑재한 차세대 설루션
* eSSD(Enterprise Solid State Drive): 서버나 데이터센터에 탑재되는 기업용 SSD
SK하이닉스는 지난 9월 세계 최초로 양산 체제를 구축한 ‘HBM4 12단[관련기사]’ 중심의 제품 라인업을 이번 전시에서 선보였다. HBM4는 이전 세대의 두 배인 2,048개의 데이터 출입 통로(I/O)를 적용해 대역폭이 늘어났으며, 전력 효율은 40% 이상 개선되어 초고성능 AI 연산 시스템에 최적화된 설루션으로 평가받고 있다.
이와 함께, 회사는 현존 최대 용량을 자랑하는 HBM3E 36GB(기가바이트)와 이를 탑재한 엔비디아 차세대 GPU 모듈 ‘GB300(Grace™ Blackwell Superchip)’도 함께 전시했다. 제품 옆에는 TSV*, 어드밴스드 MR-MUF* 등 HBM에 적용된 첨단 패키징 기술을 설명하는 3D 구조물을 설치해, 관람객들이 그 구조와 기능을 쉽게 이해할 수 있도록 했다.
* TSV(Through-Silicon Via): D램 칩에 수천 개의 미세 구멍을 뚫어 상하층 칩을 수직 관통하는 전극으로 연결하는 기술
* 어드밴스드(Advanced) MR-MUF: 기존 칩 두께 대비 40% 얇은 칩을 휘어짐 없이 적층할 수 있는 칩 제어 기술(Warpage Control)이 적용되고, 방열 특성까지 향상된 차세대 MR-MUF 기술
▲ 부스에 설치된 AiMX 카드 모습
AiM 섹션에서는 SK하이닉스의 GDDR6-AiM 단품 칩이 여러개 탑재된 ‘AiMX’ 카드가 실제 구동되는 모습이 공개됐다. AiMX 카드 4대와 엔비디아(NVIDIA)의 GPU(H100) 2대가 장착된 서버에서, AiMX는 LLM(거대언어모델)의 핵심인 어텐션* 연산에 최적화되어 메모리 바운드* 작업의 속도와 효율을 크게 개선했으며, 긴 질문·답변 과정에서 발생하는 KV 캐시* 효율성을 높여 메모리 월* 문제를 완화했다. 시연에서는 메타(Meta)의 LLM인 Llama3를 vLLM* 기반으로 구동해 다수의 사용자가 동시에 원활하게 챗봇 서비스를 이용할 수 있음을 보여주었으며, 이를 통해 관람객들은 SK하이닉스 AiM 제품의 기술력과 차별성을 직접 확인할 수 있었다.
* 어텐션(Attention): 입력 데이터에서 어떤 정보에 가장 집중해야 하는지를 동적으로 결정하는 알고리즘 기법
* 메모리 바운드(Memory Bound): 전체 시스템 성능이 프로세서의 계산 능력이 아닌, 메모리 대역폭으로 제한되어 정보 처리시 메모리로의 접근을 기다려야 하는 상태
* KV 캐시(KV Cache): 이전에 쓰인 Key(키)와 Value(값) 벡터를 저장하고 재활용해 이전 계산을 반복하는 비효율성을 줄여주는 기술
* 메모리 월(Memory Wall): 프로세서와 메모리의 성능 차이로 생기는 데이터 병목 현상
* vLLM(Virtual Large Language Model): LLM의 추론을 최적화하고 성능을 높이는 AI 프레임워크
이밖에도 시스템 내 메모리 용량과 대역폭 확장이 용이한 CXL(Compute eXpress Link) 기반의 다양한 설루션들이 이번 전시에 등장했다. 여러 개의 프로세서(호스트)가 메모리를 유연하게 나눠 쓰도록 설계된 ‘CXL 풀드 메모리(CXL Pooled Memory)’를 활용해 네트워크 없이도 여러 서버와 GPU를 연결한 LLM 분산 추론 시스템과, CXL 메모리에 연산 기능을 더한 ‘CMM-Ax(CXL Memory Module-Accelerator)’를 SK텔레콤의 AI 클라우드인 페타서스(Petasus)에 적용한 사례가 소개됐다.
또, 최신 규격인 CXL 3.2에서 처음 도입된 ‘CHMU*‘를 통해 여러 종류의 메모리를 최적의 구성으로 사용하게 해주는 계층화 설루션(Tiering Solution)의 성능 개선 효과가 이번 전시를 통해 확인됐다. 이외에도 ‘CMM-DDR5’를 기반으로 LLM 서비스 시스템의 프롬프트 캐싱* 능력이 향상되어 사용자 요청에 대한 응답 시간이 단축되는 등의 시연 결과가 큰 주목을 받았다.
* CHMU(CXL Hot-range Monitoring Unit): 여러 메모리의 사용 빈도를 모니터링해 디바이스 최적화 등 효율적인 시스템 운영에 도움을 주는 기술
* 프롬프트 캐싱(Prompt Caching): AI 모델이 이전에 처리한 프롬프트를 저장해둠으로써 반복 사용시 처리 시간을 단축하고 비용을 절감하는 기술
▲ D램 섹션에 전시된 다양한 D램 제품들
D램 섹션에서는 차세대 서버 시장을 겨냥한 DDR5 기반 모듈 라인업이 소개됐다. 특히 10나노(nm)급 6세대(1c)* 미세공정 기술을 적용한 RDIMM*, MRDIMM*을 비롯해 ▲3DS* DDR5 RDIMM(256GB) ▲DDR5 Tall MRDIMM(256GB) 등 다양한 용량과 폼팩터로 구성된 제품군이 전시돼 업계 관계자들의 이목을 집중시켰다.
* 10나노(nm)급 미세공정 기술은 세대순으로 1x-1y-1z-1a-1b-1c(6세대)
* RDIMM(Registered Dual In-line Memory Module): 여러 개의 D램이 결합된 서버용 모듈
* MRDIMM(Multiplexed Rank Dual In-line Memory Module): 모듈의 기본 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품
* 3DS(3D Stacked Memory): 2개 이상의 D램 칩을 TSV(수직관통전극)로 연결한 고성능 메모리
서버와 데이터센터용 저장매체로 쓰이는 eSSD 섹션에서는 176단 4D 낸드 기반의 ▲PS1010 E3.S(1.92-15.36TB) ▲PS1010 U.2(1.92-15.36TB)와 238단 4D 낸드 기반의 ▲PEB110 E1.S(1.92-7.68TB), 그리고 최고층인 321단 QLC* 기반 초고용량 제품인 ▲PS1101 E3.L(245TB) 등이 모습을 드러냈다. eSSD 라인업은 다양한 용량과 함께 PCIe 5세대 기반 고성능 NVMe*부터 소형 서버용 SATA* 인터페이스까지 다양한 서버 환경과 성능 요구를 충족하도록 구성됐다.
* QLC: 낸드플래시는 한 개의 셀(Cell)에 몇 개의 정보(비트 단위)를 저장하느냐에 따라 SLC(Single Level Cell, 1개)-MLC(Multi Level Cell, 2개)-TLC(Triple Level Cell, 3개)-QLC(Quadruple Level Cell, 4개)-PLC(Penta Level Cell, 5개) 등으로 규격이 나뉨
* NVMe(Non-Volatile Memory Express): 직렬 구조의 고속 입출력 인터페이스인 PCIe를 활용해SSD의 처리 속도를 극대화한 데이터 전송 프로토콜
* SATA(Serial ATA): 하드디스크와 SSD에서 널리 쓰이는 전통적 인터페이스. 속도는 NVMe 대비 낮지만, 호환성과 안정성이 높아 소규모의 보급형 서버와 PC에 널리 사용됨
한편, SK하이닉스는 이번 행사에서 차세대 스토리지 전략을 공유하기 위한 발표 세션을 진행했다. 김천성 부사장(Solution개발 산하)은 ‘Beyond SSD: SK hynix AIN Family Redefining Storage as the Core Enabler of AI at Scale(SSD를 넘어, 대규모 AI 핵심 동력으로 스토리지를 재정의하다)’라는 주제로, AI 시대에 요구되는 고용량·고성능 설루션 포트폴리오를 선보이고 제품 경쟁력을 확보하기 위한 전략을 소개했다. 최원하 팀장(차세대메모리&스토리지)은 ‘Conceptualizing Next Generation Memory & Storage Optimized for AI Inference(AI 추론에 최적화된 차세대 메모리 및 스토리지)’ 주제로 발표를 진행하며, 새로운 시장 환경과 고객 수요에 맞춰 성능·전력 등을 충족할 수 있는 방향을 제안했다.
SK하이닉스는 “이번 OCP 글로벌 서밋 2025를 통해 글로벌 협력과 기술 전략을 동시에 강화하는 계기를 마련할 수 있었다”며 “앞으로도 급변하는 AI 인프라 환경 변화에 발맞춰 혁신적인 설루션을 지속 선보이며 풀스택 AI 메모리 프로바이더 위상을 더욱 공고히 해 나가겠다”고 밝혔다.
