30년 웹 '링크 교환 계약'의 해체와 트래픽 침식
지난 30년간 웹 생태계는 검색 엔진이 웹사이트 콘텐츠를 무상으로 크롤링해 색인하는 대신, 검색 결과에서 원본 출처로 연결되는 링크와 유입 트래픽을 제공한다는 암묵적 계약을 바탕으로 유지되어 왔습니다. 그러나 최근 생성형 AI 도구가 링크 제공을 통한 트래픽 유입보다 모델 학습과 자체 답변 생성을 우선하면서 이러한 균형이 무너지고 있습니다.
사용자가 질의를 입력했을 때 챗GPT의 답변이나 구글의 AI 개요에 출처 링크가 포함되더라도, 이는 주요 답변에 덧붙여지는 보조적 요소에 머무는 경우가 많습니다. 이에 따라 콘텐츠를 생산하는 웹사이트 운영자들은 경제적 보상 없이 트래픽과 광고 수익을 잃는 상황에 직면했습니다. 실제로 위키피디아를 대상으로 한 연구에 따르면, 구글의 영문 검색 결과에 AI 요약이 도입된 직후 영문 위키피디아의 유입 트래픽이 급격히 감소했으며 이러한 흐름은 다국어 서비스로 AI 요약이 확대되면서 동일하게 나타났습니다.
전체 웹 트래픽 절반이 AI 봇… 9월 15일 기본 차단 예고
웹 호스팅 및 인프라 서비스 기업인 클라우드플레어의 추산에 따르면, 현재 전체 웹 트래픽의 절반 이상을 AI 봇이 차지하고 있습니다. 이 트래픽의 상당수는 사람이 감독하는 AI 에이전트보다 무차별적인 크롤러 형태이며, 기존 웹 크롤러에 비해 웹사이트를 더 깊고 집약적으로 탐색해 서버 비용 부담을 가중시키고 있습니다.
이에 대응해 클라우드플레어는 오는 9월 15일부터 광고가 포함된 수익 창출 페이지를 대상으로 AI 크롤러 접근을 기본값으로 차단할 방침입니다. 클라우드플레어가 인터넷 상위 1만 개 웹사이트 중 30% 이상을 관리하고 있다는 점을 고려하면, 전 세계 상위 사이트의 최대 30%가 구글 AI 개요를 비롯한 AI 검색 답변 생성 과정에서 제외될 수 있는 규모입니다.
고품질 원본 차단과 AI 생성 콘텐츠 재학습의 악순환
콘텐츠 제공자에게 크롤링 대가를 지불하는 유료 모델이 제안되기도 했으나 아직 대중적인 대안으로 정착하지 못한 상태입니다. 이로 인해 고품질 원본 콘텐츠를 보유한 정통 미디어와 전문 웹사이트가 AI 크롤러를 차단하는 반면, 허위 정보나 저품질 콘텐츠를 유통하는 사이트는 크롤러를 차단하지 않는 비대칭 현상이 나타나고 있습니다.
최근 연구에서는 AI 검색 도구가 인용하는 출처 6곳 중 1곳 꼴로 이미 AI가 생성한 웹사이트인 것으로 확인되었습니다. 고품질 출처가 검색 엔진의 답변 생성 풀에서 이탈하고 AI 생성 텍스트가 다시 AI 모델의 학습 데이터로 유입되면서, 답변 품질이 구조적으로 저하되는 '모델 붕괴'에 대한 우려가 현실화되고 있습니다.
이 사이트가 보는 지점
인프라 차원의 대규모 AI 크롤러 차단은 기존 AI 크롤러 차단 확산과 웹 트래픽 감소… 인용 생태계 연쇄 균열에서 짚었던 출처 풀의 축소를 구조적으로 가속화합니다. 웹사이트 상위 30%가 AI 요약 대상에서 일괄 제외될 경우, AI 검색의 인용 신뢰도는 질 높은 원본이 아닌 '크롤러를 차단하지 않은 잔여 웹'에 의해 결정되는 편향이 발생합니다. 이는 GEO 최적화 측정 시 단순 랭킹이 아니라 RAG 시스템이 실제 접근 가능한 유효 색인 풀의 범위를 먼저 파악해야 함을 시사합니다.
