AI 추론의 경제성을 좌우하는 핵심 지표가 ‘토큰당 와트(Tokens per Watt)’로 재정의되고 있습니다. 엔비디아(NVDA)가 제안한 이 지표는, 제한된 전력과 메모리 예산 내에서 얼마나 많은 추론 결과(토큰)를 뽑아낼 수 있느냐가 하이퍼스케일러의 수익성과 직결된다는 인식에서 출발했습니다. 특히 ‘메모리 벽(Memory Wall)’ 문제, 즉 연산 성능은 빠르게 향상되는 반면 메모리 대역폭과 용량이 이를 따라가지 못하면서 고가의 GPU가 충분히 활용되지 못하는 현상이 핵심 과제로 떠올랐습니다. 이 문제를 해결하기 위해 엔비디아는 자체 CMX(Context Memory Storage Platform)라는 독점적 아키텍처를, 한편으로는 개방형 표준인 CXL(Compute Express Link) 생태계가 경쟁 구도를 형성하고 있습니다.
엔비디아 CMX: 독점적 오프로드 엔진의 등장
엔비디아의 CMX는 SSD 기반의 스토리지 인클로저를 루빈(Rubin) GPU 및 베라(Vera) CPU와 스펙트럼-X 이더넷으로 연결하는 구조입니다. 핵심은 블루필드-4 DPU(Data Processing Unit)로, 한 랙당 64개의 블루필드-4가 약 9,600TB의 SSD 용량을 제어합니다. 이는 GB200 NVL72 랙의 HBM 용량(13.4TB)과 비교할 때 약 700배에 달하는 규모로, KV 캐시(Key-Value Cache)를 값비싼 HBM 대신 저렴한 SSD에 저장했다가 필요할 때 GPU로 빠르게 불러와 활용도를 극대화합니다. 엔비디아는 CMX를 통해 KV 캐시 작업에서 토큰 처리량과 전력 효율성을 기존 대비 최대 5배 향상시킬 수 있다고 주장합니다. 또한 STX(Storage Reference Architecture)라는 표준 설계도를 제공해 스토리지 벤더들이 CMX 호환 제품을 쉽게 개발할 수 있도록 생태계를 열어두고 있습니다.
CXL: 개방형 표준의 대안
한편 CXL은 벤더 중립적인 개방형 표준으로, CMX와 유사한 목표를 추구합니다. CXL은 서로 다른 프로세서(CPU, GPU, FPGA 등)와 메모리 풀을 일관성 있게 연결해 KV 캐시를 비롯한 메모리 자원을 공유할 수 있게 합니다. 이는 엔비디아의 독점 생태계에 종속되지 않고, 다양한 하드웨어 벤더들이 참여할 수 있는 장점이 있습니다. CXL 기반의 메모리 확장 솔루션은 특히 기존 데이터센터 인프라를 유지하면서 메모리 용량을 유연하게 늘리고 싶은 하이퍼스케일러에게 매력적인 옵션이 될 수 있습니다. 다만 CXL은 아직 생태계 성숙도와 소프트웨어 최적화 측면에서 엔비디아의 CMX에 비해 뒤처져 있다는 평가를 받습니다.
투자 관점: 누가 수혜를 볼 것인가
이 두 아키텍처의 경쟁은 AI 인프라 투자자에게 뚜렷한 수혜 구도를 만들어냅니다. 엔비디아의 CMX가 성공할 경우, 블루필드 DPU와 스펙트럼-X 이더넷 스위치, 그리고 CMX 호환 SSD를 공급하는 업체들이 직접적인 수혜를 볼 것으로 예상됩니다. 특히 엔비디아는 CMX를 컴퓨팅 자원과 별도로 증설할 수 있도록 설계해, 데이터센터 운영자들이 GPU 활용도를 높이기 위해 추가 자본 지출(CAPEX)을 집행하도록 유도하고 있습니다. 이는 엔비디아 자체의 새로운 매출 동력이 될 뿐 아니라, 스토리지 벤더들에게도 새로운 시장을 열어줍니다. 반면 CXL 생태계가 주류로 자리 잡을 경우, AMD(AMD), 인텔(INTC) 등 엔비디아의 경쟁사들이 CXL 기반 메모리 확장 솔루션을 통해 AI 추론 시장에서 점유율을 높일 기회를 얻을 수 있습니다. CXL은 또한 메모리 모듈 제조사(삼성전자, SK하이닉스)와 CXL 컨트롤러 IP 업체들에게도 새로운 수요를 창출할 잠재력이 있습니다.
리스크와 불확실성
그러나 두 접근법 모두 해결해야 할 과제가 있습니다. CMX는 엔비디아 생태계에 대한 의존도를 높여 데이터센터 운영자의 벤더 락인(vendor lock-in) 우려를 키울 수 있습니다. 또한 CMX가 실제로 엔비디아가 주장하는 5배의 성능 향상을 일관되게 달성할 수 있을지는 아직 검증되지 않았습니다. CXL의 경우, 소프트웨어 스택의 성숙도와 실제 워크로드에서의 성능이 관건입니다. 특히 KV 캐시 오프로딩은 지연 시간에 민감한 작업이므로, CXL의 오버헤드가 CMX 대비 경쟁력 있는 수준인지가 중요합니다. 또한 두 기술 모두 대규모 데이터센터에서의 실제 도입 사례가 아직 충분하지 않아, 초기 도입자의 경험이 향후 방향을 결정할 것으로 보입니다.
결론적으로, AI 추론 경제성 최적화는 엔비디아의 독점적 접근법과 개방형 표준 간의 대결로 압축됩니다. 단기적으로는 엔비디아의 CMX가 생태계 장악력과 소프트웨어 최적화에서 우위를 점할 가능성이 높지만, 중장기적으로는 CXL이 더 넓은 산업 표준으로 자리 잡을 가능성도 배제할 수 없습니다. 투자자들은 두 기술의 실제 도입 사례와 하이퍼스케일러의 선택을 주목해야 하며, 특히 내년 초 예상되는 CMX의 첫 상용화 시점과 CXL 3.0 규격의 채택 속도를 주요 지표로 삼을 필요가 있습니다.
#AI인퍼런스 #엔비디아 #CXL #KV캐시 #토큰당와트 #데이터센터 #반도체 #투자전략
출처
- Nvidia, CXL, and the Battle to Improve AI Inference Economics — Stories by Beth Kindig on Medium · 언론 보도 · Fri, 17 Jul 2026 19:47:10 GMT
작성: XPLAIN AI 편집팀 · 검수: XPLAIN AI Editorial Desk
이 콘텐츠는 공개된 출처를 기반으로 AI의 도움을 받아 작성되었으며, XPLAIN AI의 편집·검수 기준을 적용했습니다. 사실과 분석 의견을 구분하며, 오류가 확인되면 수정합니다.