독립 프로그램이 아닌 사내 공용 수집 플랫폼
구글 엔지니어 마틴 스플릿(Martin Splitt)과 게리 일리예스(Gary Illyes)가 2026년 3월 팟캐스트 'Search Off the Record'에서 밝힌 내용에 따르면, 구글봇은 독립된 단일 애플리케이션이 아니라 구글 내부에서 공용으로 운영되는 데이터 수집 플랫폼의 클라이언트 중 하나로 동작합니다. 검색(Search), 뉴스(News), 쇼핑(Shopping), 애드센스(AdSense), 제미나이(Gemini), 노트북LM(NotebookLM) 등 구글의 다양한 제품군이 동일한 수집 인프라를 호출해 바이트 데이터를 받아가는 구조입니다.
이에 따라 요청 제한, 재시도 로직, robots.txt 파싱과 같은 기본 제어 기능은 개별 크롤러가 아니라 플랫폼 수준에서 일괄 처리됩니다. 일리예스는 초기에는 단일 제품만 존재했기 때문에 단일 크롤러를 운영했으나, 서비스 확장에 맞춰 공용 플랫폼 형태로 인프라가 재편되었다고 설명했습니다.
2MB 수집 용량 제한과 렌더링 방식
2026년 2월 6일 구글은 구글봇의 URL당 수집 제한 용량을 기존 15MB에서 2MB로 86.7% 축소했습니다. PDF 파일에 적용되는 64MB 제한이나 플랫폼 기본값인 15MB는 유지되지만, 검색 구글봇에는 2MB 임계값이 엄격히 적용됩니다. 2026년 3월 31일 갱신된 구글 공식 문서에 따르면, 다운로드는 정확히 2MB 지점에서 중단되며 구글은 잘려진 부분 문서만을 전체 문서로 간주해 렌더링 및 색인 처리를 진행합니다.
수집된 HTML은 헤드리스 브라우저 기반의 웹 렌더링 서비스(Web Rendering Service)로 넘어가 자바스크립트를 실행하며, 렌더링 중 호출되는 스크립트와 스타일시트는 HTTP 헤더 설정과 무관하게 30일간 캐시됩니다. 테임 더 봇(Tame the Bots)의 데이브 스마트(Dave Smart)는 원시 HTML 기준 2MB를 초과하는 웹사이트 비중이 0.01% 미만으로 실질적인 영향 범위는 좁을 것으로 분석했습니다.
검색과 AI 개요를 묶는 이중 역할의 쟁점
구글봇의 단일 수집 요청은 전통적인 검색 결과 링크뿐만 아니라 'AI 개요(AI Overviews)'와 'AI 모드(AI Mode)'의 답변 출처를 동시에 생성합니다. 현재 robots.txt 체계에서 제공되는 Google-Extended 토큰은 제미나이 학습 및 그라운딩 데이터 활용을 제어할 뿐, 검색 구글봇 자체의 수집을 막지 못합니다. 검색 노출을 유지하면서 AI 답변 인용만을 배제하는 기술적 분리가 불가능한 구조입니다.
클라우드플레어(Cloudflare)의 매튜 프린스(Matthew Prince) 최고경영자가 2026년 1월 공개한 데이터에 따르면, 구글봇의 웹 수집 범위는 오픈AI의 3.2배, 마이크로소프트의 4.8배에 달합니다. 2개월간의 관측 샘플에서 구글봇은 클로드봇(ClaudeBot) 대비 1.7배, GPT봇(GPTBot) 대비 1.76배, 퍼플렉시티봇(PerplexityBot) 대비 166.98배 더 많은 고유 URL을 수집했습니다.
이러한 인프라 종속성에 대응해 규제 조치도 도입되고 있습니다. 2026년 6월 3일 영국 경쟁시장청(CMA)은 구글을 상대로 검색 노출을 유지하면서 AI 개요, AI 모드, 제미나이, 버텍스 AI API 활용에 대한 거부권(Opt-out)을 퍼블리셔에게 제공하도록 하는 구속력 있는 행위 요건을 부과했습니다.
이 사이트가 보는 지점
구글봇의 단일 수집 아키텍처는 구글이 공식 문서를 통해 'GEO는 여전히 SEO'라고 선언한 기술적 배경을 보여줍니다. 전통적인 검색 색인과 AI 그라운딩이 동일한 HTTP 요청과 2MB 바이트 컷오프에서 분기하므로, 테크니컬 크롤링 지표가 곧 AI 인용 가능성의 1차 물리적 경계가 됩니다. 검색 노출을 유지한 채 AI 인용만을 분리 차단하려는 시도가 프로토콜 수준에서 지원되지 않음에 따라, 규제적 조치가 인프라 단의 크롤링 통제 모델을 어떻게 바꿀지가 향후 측정의 핵심 변수입니다.
