구글이 자사의 데이터센터 아키텍처를 AI 에이전트 시대에 맞춰 전면 재설계하고 있습니다. 이는 단순한 업그레이드가 아니라, 데이터센터의 하드웨어, 소프트웨어, 네트워크, 스토리지 전반을 에이전트가 항시 구동되는 환경에 최적화하는 대규모 변혁입니다. 올해 구글 I/O에서 순다르 피차이 CEO가 공개한 수치가 그 규모를 잘 보여줍니다. 현재 구글 데이터센터는 한 달에 약 3.2쿼드릴리언(3200조) 개의 토큰을 처리하는데, 이는 2025년 5월의 480조 개보다 약 7배 증가한 수준입니다.
왜 지금 에이전트에 최적화된 데이터센터인가
기존 LLM 시대에는 사용자가 프롬프트를 보내면 모델이 응답을 반환하는 단발성 트랜잭션이 주를 이뤘습니다. 구글 인프라는 이에 맞춰 지연 시간과 처리량에 최적화되어 있었습니다. 하지만 AI 에이전트는 상황이 완전히 다릅니다. 에이전트는 독립적으로 판단하고, 오랜 시간 실행되며, 여러 에이전트가 협업합니다. 구글의 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 마크 로마이어는 에이전트 워크로드가 비에이전트 워크로드보다 추론 트랜잭션을 최대 100배까지 증가시킬 수 있다고 밝혔습니다. 즉, 수십억 명의 사용자가 각자 여러 에이전트를 동시에 구동하는 시대가 다가오고 있는 것입니다.
이러한 변화에 대응하기 위해 구글은 데이터센터 스택 전반을 재설계했습니다. 핵심은 탄력성(elasticity)입니다. 에이전트는 필요할 때 빠르게 생성되고, 작업을 마치면 다시 회수되어야 합니다. 구글은 쿠버네티스 엔진(GKE)을 에이전트 네이티브 환경으로 조정해, 샌드박스와 컨테이너 안에서 에이전트를 신속하게 스핀업하고 스핀다운할 수 있게 했습니다. 또한 데이터 흐름의 효율성이 중요한데, 에이전트가 더 빠르게 추론하고 결정을 내리기 위해서는 데이터가 지체 없이 이동해야 하기 때문입니다.
기술적 함의: TPU, CPU, 네트워크의 총체적 개선
구글은 이러한 미들웨어 변화를 뒷받침하기 위해 실리콘에도 대대적인 개선을 단행했습니다. 새로 공개된 TPU-8t(훈련용)와 TPU-8i(추론용)는 각각 이전 세대 대비 3배 높은 컴퓨팅 성능과 50% 더 많은 메모리를 제공합니다. 특히 TPU-8i는 384MB의 SRAM과 288GB의 HBM3e 메모리를 탑재해, 에이전트가 의사결정에 필요한 중요한 컨텍스트 정보(KV 캐시)를 칩 내부에 더 많이 저장할 수 있습니다. 이는 외부 메모리나 스토리지로의 왕복을 줄여 응답 속도와 비용 효율성을 크게 개선합니다. 또한 새로운 CPU인 Axion N4A는 에이전트 오케스트레이션 및 툴 호출과 같은 작업에서 전력 효율이 더 높다고 합니다.
네트워크와 스토리지 측면에서도 중요한 진전이 있었습니다. TPUDirect라는 신기술은 오케스트레이션 오버헤드를 우회해 스토리지에서 TPU 메모리로 데이터를 직접 전송합니다. Virgo라는 네트워킹 기술은 100만 개의 TPU를 광범위하게 분산된 네트워크에서 조정할 수 있으며, 엔비디아의 최신 CPU-GPU 패키지인 Vera Rubin도 연결할 수 있습니다. 로마이어는 Virgo를 통해 최대 96만 개의 Vera Rubin GPU를 연결할 수 있다고 밝혔습니다. 또한 Pathways라는 분산 훈련 프레임워크는 수백만 개의 TPU와 GPU에 걸쳐 머신러닝을 효율적으로 확장하며, JAX와 관련된 병목 현상을 해결합니다.
이러한 변화는 구글만의 독특한 이점을 강화합니다. J. Gold Associates의 수석 애널리스트 잭 골드는 구글이 자체 데이터센터, 소프트웨어, 하드웨어, 모델을 모두 보유한 유일한 제공업체라고 지적합니다. 이를 통해 정기적인 최적화가 가능하며, 이는 높은 칩 비용 때문에 많은 데이터센터가 쉽게 따라하지 못하는 부분입니다. 다만 골드는 구글이 엔비디아를 대체할 위험은 낮지만, 시장이 계속 확장됨에 따라 모든 플레이어에게 충분한 공간이 있다고 분석했습니다.
수혜와 리스크: 생태계에 미치는 영향
이번 발표는 AI 반도체 및 클라우드 인프라 경쟁에 여러 시사점을 던집니다. 다음은 기술적 함의에 기반한 추론입니다.
- 구글(GOOGL)의 자체 칩 생태계 강화: TPU-8t/8i와 Axion N4A의 성능 향상은 구글 클라우드의 AI 워크로드 경쟁력을 높입니다. 특히 에이전트에 최적화된 설계는 구글 클라우드를 사용하는 기업들에게 비용 효율적인 AI 인프라 옵션을 제공할 수 있습니다. 이는 구글 클라우드의 AI 관련 매출 증가로 이어질 가능성이 있습니다.
- 엔비디아(NVDA): 단기 리스크는 제한적: 구글이 Virgo를 통해 Vera Rubin GPU를 지원한다는 점은 엔비디아가 계속해서 구글 데이터센터 내에서 중요한 역할을 할 것임을 시사합니다. 또한 골드 애널리스트의 지적처럼 시장이 확장 중이므로 엔비디아에 대한 직접적인 위협은 크지 않습니다. 다만 구글의 자체 칩이 점차 더 많은 워크로드를 흡수할 수 있다는 점은 장기적인 경쟁 구도로 봐야 합니다.
- AMD(AMD)와 인텔(INTC): 기회와 도전: 구글이 자체 CPU(Axion)를 도입한 것은 AMD와 인텔의 데이터센터 CPU 시장에 잠재적 위협입니다. 하지만 전체 AI 인프라 시장의 성장이 두 회사에도 기회를 제공할 수 있습니다. 특히 AMD의 MI 시리즈 GPU가 구글 클라우드에서 채택될 가능성은 열려 있습니다.
- 클라우드 경쟁사(AWS, MSFT): 간접적 압력: 구글의 발 빠른 에이전트 최적화는 AWS와 마이크로소프트에게도 자체 AI 인프라 전략을 재검토하게 만듭니다. 특히 AWS는 자체 칩(Trainium, Inferentia)을 보유하고 있지만, 구글만큼 통합된 스택을 갖추지는 못했습니다. 마이크로소프트는 엔비디아와의 긴밀한 협력에 의존하고 있으나, 자체 칩 개발 속도를 높여야 할 필요성을 느낄 수 있습니다.
반대 시나리오와 불확실성
구글의 이러한 전략이 성공을 보장하는 것은 아닙니다. 첫째, 에이전트 워크로드의 실제 폭발적 증가가 예상보다 더딜 수 있습니다. 기업들이 에이전트를 본격적으로 도입하기까지는 시간이 걸릴 수 있으며, 이 경우 구글의 선제적 투자가 과잉 설비로 이어질 위험이 있습니다. 둘째, 경쟁사들도 유사한 최적화를 추진할 것입니다. AWS와 마이크로소프트는 각각의 강점을 바탕으로 에이전트 친화적 인프라를 구축할 가능성이 높습니다. 셋째, 구글의 자체 칩이 항상 엔비디아의 최신 GPU보다 뛰어난 성능을 제공할 것이라는 보장은 없습니다. 특히 엔비디아의 Vera Rubin과 같은 차세대 제품이 등장하면 경쟁 구도가 다시 변할 수 있습니다.
또한 구글의 통합 스택이 오히려 고객의 종속을 우려하게 만들 수 있습니다. Kyndryl의 글로벌 AI 전략 파트너인 로건 울프는 아무리 뛰어난 인프라라도 시스템 장애에 대비해 멀티 클라우드 전략을 채택하라고 조언합니다. 이는 구글 클라우드가 고객을 완전히 사로잡는 데 장애물이 될 수 있습니다.
다음에 확인해야 할 지표는 구글 클라우드의 AI 관련 매출 성장률, TPU-8 시리즈의 실제 성능 벤치마크, 그리고 주요 기업들의 에이전트 도입 속도입니다. 또한 엔비디아의 Vera Rubin 출시 일정과 성능이 구글의 Virgo 연결성과 어떻게 비교될지도 중요한 관전 포인트입니다.
#AI인프라 #데이터센터 #구글클라우드 #에이전트AI #TPU #엔비디아 #AI반도체 #클라우드컴퓨팅
출처
- Google transforms its data center architecture for agent era — Network World · 언론 보도 · Thu, 23 Jul 2026 12:07:53 +0000
작성: XPLAIN AI 편집팀 · 검수: XPLAIN AI Editorial Desk
이 콘텐츠는 공개된 출처를 기반으로 AI의 도움을 받아 작성되었으며, XPLAIN AI의 편집·검수 기준을 적용했습니다. 사실과 분석 의견을 구분하며, 오류가 확인되면 수정합니다.