SK하이닉스가 지난 15일부터 미국 캘리포니아주 새너제이(San Jose)에서 개막한 ‘OCP 글로벌 서밋(OCP Global Summit 2024, 이하 OCP 서밋)’에 참가해 미래 반도체 시장 리더십을 이어갈 AI 메모리 반도체 기술과 제품을 선보였다.
▲ OCP 서밋에 설치된 SK하이닉스 부스 모습
OCP 서밋은 전 세계 최대 규모의 개방형 데이터센터 기술 협력 협회인 OCP(Open Compute Project)가 주최하는 글로벌 행사로 미래 데이터센터 환경을 구현하기 위한 AI 기술 중심의 반도체 최신 기술과 연구 성과, 기술력 등을 공유하는 자리다. 올해의 주제는 ‘From Ideas To Impact(비전을 현실로 전환하다)’로, 이론적 논의를 넘어 구체적인 솔루션으로 구현하는 업계의 혁신 기술과 노력을 다뤘다.
AI 시대를 선도하는 토탈 AI 메모리 솔루션 제시
SK하이닉스는 2016년 첫 OCP 서밋 참여를 시작으로 매년 혁신 기술과 비전을 제시해 왔다. 특히 올해는 최고 등급인 다이아몬드 회원으로 참여해 ‘MEMORY, THE POWER OF AI’라는 슬로건으로 전시를 열어 SK하이닉스의 선도적인 기술력을 확인할 수 있는 다양한 AI 메모리 제품을 선보였다.
회사는 ▲HBM 5세대 최신 제품이자 현존 최고 성능을 구현하는 HBM3E*를 비롯해 ▲CXL* 기반 연산 기능을 통합한 차세대 메모리 솔루션 ▲10나노급 6세대(1c) 공정* 기반의 DDR5 RDIMM ▲고용량 저장장치 eSSD* 등 다양한 AI 메모리를 전시하며 눈길을 끌었다.
* HBM(High Bandwidth Memory): 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전. 기존 HBM3E의 최대 용량은 3GB D램 단품 칩 8개를 수직 적층한 24GB였음
* CXL(Compute eXpress Link): 고성능 컴퓨팅 시스템을 효율적으로 활용하기 위한 PCle 기반 차세대 인터페이스. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 향상하고, 쉽게 메모리 용량을 확대할 수 있는 차세대 메모리 솔루션
* 10나노급 D램 공정 기술은 1x-1y-1z-1a-1b 순으로 개발돼 1c는 6세대
* eSSD(Enterprise Solid State Drive): 기업용 SSD, 주로 서버나 데이터센터에 탑재됨
▲ SK하이닉스가 OCP 서밋에서 전시한 HBM3E와 엔비디아의 H200/GB200
이중 HBM3E 12단은 SK하이닉스가 지난 9월 세계 최초로 양산하기 시작한 현존 최고 성능과 용량을 갖춘 제품[관련기사]으로 엔비디아(NVIDIA)의 신형 ‘H200 텐서 코어 GPU(Tensor Core GPU)’ 및 ‘GB200 그레이스 블랙웰 슈퍼칩(Grace Blackwell Superchip)’과 함께 전시됐다. HBM3E 12단은 D램 칩을 기존보다 40% 얇게 만들어 기존 8단 제품과 동일한 두께로 12단 적층에 성공해 최대 36GB 용량을 구현했으며 데이터 처리 속도는 9.6Gbps로 높였다. 또 SK하이닉스의 핵심 기술인 어드밴스드 MR-MUF*공정을 적용해 발열 성능을 10% 향상시키며 속도, 용량, 안정성 등 모든 부문에서 세계 최고 수준이라는 평가를 받고 있다.
* 어드밴스드(Advanced) MR-MUF: 기존 칩 두께 대비 40% 얇은 칩을 휘어짐 없이 적층할 수 있는 칩 제어 기술(Warpage Control)이 적용되었으며, 신규 보호재를 통해 방열 특성까지 향상된 차세대 MR-MUF 기술
▲ SK하이닉스가 OCP 서밋에서 라이브 데모를 시연한 CXL 기반 CMM-Ax와 CMM-DDR5/HMSDK, 나이아가라 2.0, CSD(서버 장착) 제품
또한 SK하이닉스는 CXL 기반 연산 기능을 통합한 차세대 메모리 솔루션 ▲CMM-Ax* ▲CMM-DDR5/HMSDK* ▲나이아가라(Niagara) 2.0과 함께 ▲CSD*를 선보였다.
CMM-Ax는 기존 CMS* 2.0의 명칭을 변경한 것으로 이번 전시에서 새로운 이름과 함께 소개됐다. CMM-Ax는 고용량 메모리를 확장할 수 있는 CXL의 장점에 머신러닝과 데이터 필터링 연산 기능을 함께 제공하며 차세대 서버 플랫폼에 탑재되어 시스템의 성능과 에너지 효율 향상에 기여할 수 있다. 회사는 CMM-Ax를 탑재한 서버를 통해 멀티모달* 라이브 데모를 선보이며 차세대 연산 메모리 성능을 입증했다.
이에 더해, CMM-DDR5와 이를 지원하는 소프트웨어인 HMSDK, 나이아가라(Niagara) 2.0 제품을 시연하는 자리도 마련했다. HMSDK는 CMM-DDR5가 장착된 시스템의 대역폭과 용량을 확장해 주는 솔루션으로 D램 모듈과 CMM-DDR5 간의 효율적인 교차 배열을 통해 대역폭을 넓히고, 데이터 사용 빈도에 따라 적합한 메모리 장치로 데이터를 재배치해 시스템 성능을 개선해 준다[관련기사].
나이아가라(Niagara)는 CXL 풀드 메모리(Pooled Memory)를 위한 하드웨어∙소프트웨어 통합 솔루션으로, 대용량의 메모리 풀을 여러 호스트(CPU, GPU 등)가 최적의 상태로 나눠 쓰도록 해 유휴 메모리를 최소화함으로써 전체 시스템의 비용을 줄일 수 있는 것이 특징이다. 또한 데이터 사용 빈도와 접근 패턴에 따라 데이터를 재배치해 시스템의 성능을 대폭 개선할 수 있다[관련기사].
* CMM(CXL Memory Module)-Ax: : CMM은 CXL Memory Module의 약자로 제품에 CXL 기반 솔루션의 정체성을 부각했고, Accelerator와 xPU의 의미를 가져와 ‘Ax’라는 이름을 붙임
* HMSDK(Heterogeneous Memory S/W Development Kit): SK하이닉스 고유의 이종(異種) 메모리 소프트웨어 개발 도구. 효과적인 메모리 제어로 CXL 메모리를 포함한 이종 메모리 시스템의 성능을 향상시킴
* CSD(Computational Storage Drive): 데이터를 직접 연산하는 저장장치
* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL 메모리에 빅데이터 분석이나 AI와 같은 대용량 데이터가 필요한 응용 프로그램에서 주로 사용되는 연산 기능이 포함된 메모리 솔루션
* 멀티모달(Multi Modal): 텍스트, 사진 음성, 동영상 등 여러 복합 정보를 이해할 수 있는 AI 서비스
▲ SK하이닉스가 OCP 서밋에서 라이브 데모를 시연한 GDDR6-AiM 기반 가속기 카드 AiMX
데이터센터의 대규모 언어 모델(Large Language Model, 이하 LLM) 서비스는 여러 사용자의 요청 사항을 동시에 처리하는 방식으로 GPU 효율을 개선하고 있으나, 생성 토큰 길이가 증가함에 따라 GPU 효율이 낮은 어텐션 레이어*의 연산량이 커지는 문제가 있다. 이에 회사는 GDDR6-AiM* 기반 가속기 카드인 AiMX*로 최신 모델인 Llama3 70B*의 어텐션 레이어를 가속하는 라이브 데모를 시연했다. AiMX를 탑재해 대량의 데이터를 다루면서도 최신 가속기 대비 고성능, 저전력 등 뛰어난 성능을 보여줄 수 있다는 것을 확인시켰다[관련기사].
* 어텐션 레이어(Attention Layer): 딥러닝 모델, 특히 자연어 처리 분야에서 입력 데이터의 각 부분에 가중치를 부여하여 관련 정보에 더 집중하게 하는 메커니즘
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품
* Llama3(Large Language Model Meta AI): 메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐
▲ SK하이닉스가 OCP 서밋에서 선보인 DDR5 RDIMM과 MCRDIMM
이와 함께 슈퍼마이크로(Supermicro)와의 협업으로 고성능 컴퓨팅 시장에서 주목받는 ▲DDR5 RDIMM ▲MCRDIMM*과 ▲E3.S eSSD PS1010* ▲M.2 2280 eSSD PE9010을 함께 전시했다. 이 제품들은 데이터센터 전력 소비량이 늘어나는 가운데, 이전 세대 대비 속도와 전력 효율을 크게 향상시켜 AI용 서버 시장에 핵심 솔루션이 될 것으로 기대를 모은다.
* MCRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module): 여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품
* PS1010: 초고성능-고용량 데이터센터/서버향 SSD로 PCIe 5세대 E3.S & U.2/3(폼팩터 규격) 기반 제품
▲ SK하이닉스가 OCP 서밋에서 전시한 PCIe 5세대 기반 기업용 SSD
이 밖에도 SK하이닉스는 다양한 서버에 호환이 가능한 폼팩터(Form Factor)를 갖춘 eSSD 제품군을 선보이며 현장의 큰 관심을 받았다. 이중 PS1010과 PS1030은 업계 최고의 성능의 5세대 PCle* 기반 eSSD 제품으로 이전 세대 대비 전송 속도가 빠르고 전력 소모가 적은 고효율 AI 메모리다. 대량의 데이터를 처리하는 인공지능과 데이터센터 등에 최적화된 제품으로 생성형 AI 시대 핵심 반도체로 떠오르고 있다.
* PCle(Peripheral Component Interconnect Express): 직렬 구조의 고속 입출력 인터페이스로 디지털 장치의 메인보드에서 사용
세션 발표를 통해 글로벌 No.1 AI 메모리 프로바이더 입증
SK하이닉스는 이번 OCP 서밋에서 총 일곱 번의 세션 발표와 패널 참여를 통해 회사의 AI 메모리 기술력과 비전을 공유했다. 특히, AI 시대의 개화와 함께 주목받고 있는 HBM과 CXL을 중심으로 이야기를 풀어내며 혁신의 경계를 넓히기 위해 반도체 업계의 협력을 제안했다.
▲ 회사의 CXL 기반 메모리 솔루션을 발표 중인 주영표 부사장(Software Solution 담당)
먼저, ‘Pioneering the AI Enlightenment : Future Memory Solution R&D in SK Hynix(AI 시대를 여는 선구자 : SK하이닉스의 미래 메모리 솔루션 R&D)’를 주제로 발표한 주영표 부사장(Software Solution 담당)은 CMM-DDR5를 비롯한 CXL 기반 메모리 솔루션을 소개하며 AI 메모리 경쟁력을 강화하는 SK하이닉스의 강력한 의지를 보여줬다.
▲ (첫 장부터) 회사 CXL 기술력을 소개 중 최정민 TL(Composable System)과 김홍규 TL(System SW)
최정민 TL(Composable System)은 ‘CXL 메모리 풀링* 및 공유 기능, 데이터 사용 빈도와 패턴 분석을 통한 핫-콜드 데이터* 검출 및 이에 따른 시스템 이점과 다양한 활용 사례’를 다뤘고, 김홍규 TL(System SW)은 회사가 자체 개발한 CXL 최적화 소프트웨어인 HMSDK를 소개했다.
* 메모리 풀링(Memory Pooling): 대용량 메모리 풀(Pool)을 만들고 다수의 서버가 메모리 풀에서 필요한 만큼 메모리를 할당받아 사용할 수 있는 기술
* 핫-콜드 데이터(Hot-Cold Data): ‘Hot Data’는 매우 빈번하게 액세스, 업데이트되는 데이터를 가리키며, ‘Cold Data’는 자주 또는 전혀 액세스하지 않는 비활성 데이터를 의미
▲ HBM4 도입과 업계에 주는 시사점에 대해 발표하고 있는 김연수 TL(DRAM TP)
이어서 김연수 TL(DRAM TP)은 ‘The Next Chapter of HBM(다가올 HBM의 미래)’을 주제로 HBM 시장의 성장 배경과 최신 HBM3E 제품을 소개하고, 지속적으로 늘어나는 커스텀(Custom) 제품 요구에 적기 대응하기 위한 전략을 발표했다.
▲ 회사의 AiM 제품 강점을 설명 중인 임의철 부사장(Solution AT 담당)
생활 전반에 걸쳐 혁신적인 변화를 예고하는 생성형 AI를 위한 솔루션을 주제로 한 발표도 이어졌다. 임의철 부사장(Solution AT 담당)은 데이터센터부터 엣지 디바이스까지 LLM 서비스의 핵심 솔루션이 된 AiM 기술을 강조하며, 회사의 AiM 제품 소개와 미래 비전을 공유했다.
▲ (첫 장부터) LLM 학습 시스템 성능 향상을 위한 차세대 SSD에 대해 발표 중인 김종률 팀장(AI System Infra)과 Kevin Tang TL(AI System Infra)
김종률 팀장(AI System Infra)과 Kevin Tang TL(AI System Infra)은 LLM 학습 시스템 장애로 인한 자원 및 비용 낭비를 줄이기 위한 기술인 체크포인팅*을 효과적으로 지원할 수 있는 차세대 SSD에 대한 연구 결과를 발표했다.
* 체크포인팅(Checkpointing): 학습 과정 중 특정 시점의 모델 파라미터와 관련 주요 데이터를 저장하여 시스템 장애 발생 시 저장된 특정 시점에서 학습을 재시작할 수 있도록 지원하는 기술
▲ 메모리 인접 연산 기술의 비전에 대해 발표하고 있는 김호식 부사장(SOLAB 담당)
김호식 부사장(SOLAB 담당)은 ‘Opportunities, Challenges, and Road Ahead in Data Centric Computing(데이터 센트릭 컴퓨팅의 기회, 도전과 방향성)’을 주제로 한 패널 세션에 참가했다. 이 자리에서 메모리와 프로세서 간의 데이터 병목 현상을 해결하기 위한 메모리 인접 연산* 기술의 비전에 관해 설명했다. 또, 이를 실제 시스템에 적용하기 위해 해결해야 하는 HW와 SW 레벨의 다양한 이슈와 방법에 대해 토론을 진행했다.
* 메모리 인접 연산(Near Memory Processing): 폰노이만 아키텍처의 한계인 메모리와 프로세서 간의 병목 이슈를 해결하기 위한 목적으로, 메모리 내부에서 특정 연산을 처리함으로써 프로세서의 이용 효율을 높이고 메모리와 프로세서 간의 데이터 이동량을 줄여 시스템 성능 및 TCO 개선을 가능하게 하는 차세대 메모리 솔루션 기술
▲ CXL 기술을 활용한 Composable Memory Systems의 중요성과 개발 방향성에 대해 공동 발표하고 있는 김명서 TL(AI Open Innovation)(첫째 장 오른쪽)과 잭래빗 랩스 담당자(둘째 장), 인텔 담당자(셋째 장)
기술 파트너들과 공동으로 발표한 김명서 TL(AI Open Innovation)은 우버(Uber) 데이터센터의 쿠버네티스 클라우드* 환경에서의 문제점을 해결하기 위해 회사의 CXL 풀드 메모리 프로토타입과 잭래빗 랩스(Jackrabbit Labs)의 오픈소스 소프트웨어인 클라우드 오케스트레이션*을 활용한 성과를 소개했다. 이는 쿠버네티스 클라우드 환경에서 발생하는 스트랜디드 메모리* 이슈를 해결할 수 있도록 개발됐다. 앞으로도 다양한 빅테크 기술 파트너들과 협력해 생태계를 구축하고, 미래 시장에서의 기술 리더십을 강화할 것이라고 전했다.
* 쿠버네티스 클라우드(Kubernetes Cloud): 독립된 환경 및 애플리케이션을 하나로 통합하여 실행할 수 있도록 컨테이너화된 애플리케이션을 실행하기 위한 일련의 노드 머신
* 오케스트레이션(Orchestration): 컴퓨터 시스템과 서비스, 애플리케이션 설정을 자동화하여 컴퓨팅 자원을 관리하고 조정하는 것으로 여러 개의 작업을 함께 연결하여 크기가 큰 워크플로우나 프로세스를 실행하는 방식을 취함
* 스트랜디드 메모리(Stranded Memory): 메모리가 사용되지 않고 남는 이슈
SK하이닉스는 “이번 OCP 서밋을 통해 AI 중심으로 급격히 변하는 시장 환경에서 ‘글로벌 No.1 AI 메모리 프로바이더(Global No.1 AI Memory Provider)’로 성장하는 SK하이닉스의 혁신 기술을 선보일 수 있었다”라며 “앞으로도 장기적인 관점에서 기술력을 확보하고 고객 및 다양한 파트너사와의 협업을 통해 AI 시장의 핵심 플레이어가 될 것”이라고 전했다.
