최근 2년간 AI 에이전트를 구축한 팀들이 겪은 패턴이 있습니다. 모델을 업그레이드해도 신뢰성 문제가 다른 형태로 반복될 뿐이라는 사실입니다. 문제는 모델의 지능이 아니라, 에이전트가 실행되는 ‘컨텍스트 레이어’에 있다는 분석이 나왔습니다. 이는 AI 인프라 투자에 새로운 관점을 제시합니다.
무슨 일이 있었나: 모델이 아니라 인프라가 문제였다
테크 전문 매체 The New Stack의 최근 기사에 따르면, AI 연구자 안드레이 카파시는 X(구 트위터)를 통해 자신의 AI 컴퓨팅 사용 패턴이 변화하고 있음을 밝혔습니다. 그는 “최근 토큰 처리량의 상당 부분이 코드 조작보다 지식 조작에 사용되고 있다”고 언급했습니다. 카파시는 더 똑똑한 모델을 실행하는 대신, 원시 데이터를 디렉터리에 색인하고 LLM이 이를 구조화된 위키로 컴파일하는 등 ‘더 나은 인프라’를 구축하는 데 집중하고 있었습니다. 핵심은 모델은 일정하게 유지되고, 그 주변 인프라가 변수였다는 점입니다.
왜 중요한가: AI 에이전트의 실제 성능 결정 요인
에이전트가 실행되는 컨텍스트의 질이 모델 자체의 성능보다 더 중요하다는 주장은 투자자에게 시사하는 바가 큽니다. 현재 많은 기업이 AI 에이전트를 구축할 때 데이터베이스, API, 문서 저장소 등 원시 데이터에 직접 모델을 연결하고, 쿼리 시간에 컨텍스트 윈도우 내에서 컴파일하길 기대합니다. 하지만 이는 잡음이 가득한 윈도우 위에서 패턴 매칭 추측에 불과한 결과를 낳습니다. 카파시가 구축한 방식은 원시 데이터가 들어오면 LLM이 이를 구조화된 형태로 ‘컴파일’한 뒤, 에이전트가 그 컴파일된 버전 위에서 도구를 사용해 작동하도록 설계되었습니다. 이 컴파일 단계가 생략된 시스템은 신뢰성 문제를 반복할 수밖에 없습니다.
우리의 해석·분석: 인프라 레이어로의 투자 이동
이 분석이 시사하는 바는 AI 산업의 투자 포인트가 점차 ‘더 큰 모델’에서 ‘더 정교한 인프라’로 이동할 가능성입니다. 특히 기업용 AI 에이전트 시장에서 승패를 가르는 요소는 모델의 파라미터 수가 아니라, 조직 내 데이터를 얼마나 효과적으로 구조화하고 검색 가능하게 만드는 인프라에 달려 있을 수 있습니다. 카파시는 자신의 위키가 약 100개의 문서와 40만 단어 규모에 도달한 후에도, LLM이 인덱스와 요약을 유지하고 작은 검색 엔진을 CLI로 노출하는 등 도구를 추가함으로써 시스템을 사용 가능하게 유지했습니다. 이는 ‘컨텍스트가 사라지는 문제’가 아니라 ‘검색, 인덱싱, 도구 인터페이스’ 자체가 엔지니어링 대상이 되어야 함을 의미합니다.
수혜와 리스크: 어떤 기업이 영향을 받을까
이러한 관점에서 볼 때, AI 인프라 스택 중 ‘컨텍스트 레이어’를 제공하는 기업들이 수혜를 볼 가능성이 있습니다. 예를 들어, 데이터 통합 및 파이프라인 도구를 제공하는 기업, 지식 그래프나 벡터 데이터베이스 솔루션을 제공하는 기업, 그리고 AI 에이전트를 위한 도구 오케스트레이션 플랫폼을 제공하는 기업 등이 주목받을 수 있습니다. 반면, 단순히 더 큰 모델을 제공하는 데 초점을 맞춘 AI 모델 회사들은 상대적으로 투자 매력도가 낮아질 수 있습니다. 다만 이는 아직 초기 단계의 분석이며, 실제 시장 영향은 기업들의 제품 전략과 실행력에 달려 있습니다.
반대 시나리오와 불확실성
물론 이러한 분석이 항상 옳은 것은 아닙니다. AI 모델의 성능이 급격히 향상되어 컨텍스트 처리 능력 자체가 비약적으로 개선된다면, 인프라의 중요성은 상대적으로 줄어들 수 있습니다. 또한 대부분의 기업이 아직 AI 에이전트를 본격적으로 도입하지 않은 상황에서, 인프라 투자 수요가 당장 폭발적으로 증가할지 여부는 불확실합니다. 시장은 여전히 모델 성능에 집중하고 있으며, 이러한 패러다임 전환이 실제 투자 흐름으로 이어지기까지는 시간이 걸릴 수 있습니다. 투자자들은 이러한 불확실성을 감안해 신중한 접근이 필요합니다.
다음에 확인할 지표
앞으로 주목할 지표는 기업용 AI 에이전트 도입률과 함께, 데이터 인프라 관련 기업들의 매출 성장률입니다. 특히 벡터 데이터베이스, 지식 그래프, 검색 인덱싱 솔루션을 제공하는 스타트업이나 상장사들의 고객 확보 속도가 중요한 신호가 될 것입니다. 또한 주요 AI 모델 제공사들이 자체적으로 컨텍스트 인프라를 강화하는지, 아니면 외부 생태계에 의존하는지도 관전 포인트입니다.
#AI에이전트 #컨텍스트레이어 #AI인프라 #안드레이카파시 #LLM #데이터인프라 #AI투자
출처
- The bottleneck for AI agents isn’t the model anymore. It’s the context layer. — The New Stack | DevOps, Open Source, and Cloud Native News · 언론 보도 · Sat, 18 Jul 2026 15:00:00 +0000
작성: XPLAIN AI 편집팀 · 검수: XPLAIN AI Editorial Desk
이 콘텐츠는 공개된 출처를 기반으로 AI의 도움을 받아 작성되었으며, XPLAIN AI의 편집·검수 기준을 적용했습니다. 사실과 분석 의견을 구분하며, 오류가 확인되면 수정합니다.