기업들의 AI 인프라 투자가 눈에 띄게 가속화되고 있습니다. 하지만 정작 그 투자로 인한 경제적 효과를 제대로 측정하지 못하는 ‘컴퓨팅 격차(compute gap)’가 발생하고 있다는 조사 결과가 나왔습니다. 글로벌 테크 미디어 벤처비트가 지난 6월 107개 기업을 대상으로 실시한 ‘펄스 리서치’에 따르면, 기업들의 AI 인프라 지출은 이에 대한 가시성과 통제력을 훨씬 앞지르고 있습니다. 이번 조사는 중견기업(101~1,000명)이 주를 이루며, 기술·소프트웨어 업종이 26%로 가장 많았고, 헬스케어·생명과학(15%), 금융(13%), 리테일(12%) 순이었습니다.
투자 속도는 빠른데, 생산 단계는 아직
조사 결과, AI를 본격적인 프로덕션(production) 규모로 운영하는 기업은 고작 21%에 불과했습니다. 38%는 개념 증명(PoC) 단계에서 실험 중이며, 37%는 일부 워크로드를 프로덕션에 올렸지만 아직 확장하지 못한 상태입니다. 그럼에도 불구하고 기업들의 투자 의지는 매우 공격적입니다. 향후 1년 내 평가할 계획이 있는 분야 중 가장 큰 비중을 차지한 것은 ‘AI 특화 클라우드(45%)’ 였는데, 이는 현재 거의 모든 기업이 사용하지 않는 영역입니다. 즉, 기업들은 현재 사용 중인 인프라의 경제성조차 제대로 파악하지 못한 채, 새로운 고급 컴퓨팅 자원을 향해 빠르게 움직이고 있는 셈입니다.
GPU 활용률 50% 미만, 비용 추적도 미흡
이미 구축된 컴퓨팅 자원의 효율성은 매우 낮은 것으로 나타났습니다. 대다수 기업이 GPU 활용률이 50% 이하라고 응답했습니다. 절반도 안 되는 GPU가 제대로 가동되지 않고 있다는 뜻입니다. 더욱 충격적인 것은 AI 컴퓨팅 비용을 엄격하게 추적하는 기업은 절반에도 못 미친다는 점입니다. 기업들은 이미 보유한 자원의 비용도 제대로 계산하지 못하면서, 더 많은 인프라를 더 빠르게 사들이고 있는 것입니다. 이는 ‘컴퓨팅 격차’의 핵심입니다. 투자 규모는 성숙도를 훨씬 앞서고, 비용 가시성은 투자 속도를 따라가지 못하는 구조입니다.
공급업체 변경 의사 높아…선택 기준은 ‘통합’과 ‘총소유비용’
기업들은 현재의 인프라 공급업체에 만족하지 못하고 있습니다. 무려 64%가 1년 이내에 공급업체를 변경하거나 추가할 계획이라고 답했으며, 38%는 다음 분기 내로 변경을 고려하고 있습니다. 이는 인프라라는 근본적인 영역에서 매우 높은 이탈 의도를 보여주는 수치입니다. 공급업체 선택의 주요 기준은 ‘기존 스택과의 통합(41%)’과 ‘총소유비용(TCO, 35%)’이었으며, 헤드라인 토큰 가격(토큰당 비용)은 단 8%만이 결정적 요소로 꼽았습니다. 이는 기업들이 단순한 가격 경쟁보다는 장기적인 운영 효율성과 호환성을 중시하고 있음을 시사합니다. 한편, 차세대 추론(inference) 환경에서 중요한 변곡점으로 예상되는 ‘GPU 컴퓨팅에서 메모리 대역폭으로의 전환’에 대해서는 약 5분의 1의 기업이 인지하지 못하거나 아직 대응하지 못한 것으로 나타났습니다. 이는 향후 인프라 결정에 큰 영향을 미칠 잠재적 리스크 요인입니다.
투자자 관점: 누가 수혜를 보고, 누가 리스크에 노출될까
이번 조사 결과는 AI 인프라 시장의 여러 흐름을 보여줍니다. 첫째, GPU 활용률이 낮다는 것은 클라우드 최적화 및 GPU 가상화 기술에 대한 수요가 높아질 가능성을 의미합니다. GPU 자원을 효율적으로 공유하고 관리하는 소프트웨어 업체(예: 쿠버네티스 기반 AI 플랫폼)가 주목받을 수 있습니다. 둘째, 기업들이 TCO를 중시한다는 점은 장기적으로 자체 AI 칩을 개발하는 하이퍼스케일러(예: 아마존, 구글, 마이크로소프트)에게 유리할 수 있습니다. 이들은 통합 생태계와 최적화된 하드웨어를 제공해 고객의 총소유비용을 낮출 수 있기 때문입니다. 반면, 순수 GPU 판매에 의존하는 엔비디아는 단기적으로 수요 증가의 혜택을 보겠지만, 장기적으로는 고객사들의 효율성 개선 노력이 신규 GPU 구매 수요를 둔화시킬 리스크가 있습니다. 셋째, AI 인프라 비용 추적 및 관리를 위한 소프트웨어(FinOps) 시장이 성장할 가능성이 있습니다. 기업들이 비용 가시성을 높이기 위해 노력한다면, 관련 SaaS 업체들이 수혜를 볼 수 있습니다.
반대 시나리오와 다음 신호
물론 이번 조사는 107개 기업을 대상으로 한 단일 시점의 스냅샷이므로, 이를 일반화하기에는 한계가 있습니다. 특히 중견기업에 편중된 표본은 대형 테크 기업의 실제 상황을 반영하지 못할 수 있습니다. 또한 GPU 활용률이 낮은 것은 단순히 수요 부족이 아니라, AI 워크로드의 특성상 피크 타임과 유휴 시간이 번갈아 나타나는 자연스러운 현상일 수도 있습니다. 향후 주목해야 할 지표는 기업들의 GPU 활용률 변화와 AI 인프라 비용 추적 도입률입니다. 만약 다음 분기 조사에서 이 수치들이 개선된다면, ‘컴퓨팅 격차’가 줄어들고 있다는 신호로 읽힐 수 있습니다. 반대로 투자 속도는 더 빨라지는데 비용 가시성은 여전히 낮다면, 시장의 비효율이 더욱 심화되고 있다는 경고로 받아들여야 합니다.
#AI인프라 #컴퓨팅격차 #GPU활용률 #AI비용 #클라우드최적화 #하이퍼스케일러 #AI투자
출처
- The AI compute gap: Enterprises are buying infrastructure faster than they can measure what it costs — AI | VentureBeat · 언론 보도 · Thu, 16 Jul 2026 17:35:19 GMT
작성: XPLAIN AI 편집팀 · 검수: XPLAIN AI Editorial Desk
이 콘텐츠는 공개된 출처를 기반으로 AI의 도움을 받아 작성되었으며, XPLAIN AI의 편집·검수 기준을 적용했습니다. 사실과 분석 의견을 구분하며, 오류가 확인되면 수정합니다.