30년 검색 생태계 계약의 균열과 트래픽 감소
웹 생태계를 지탱해온 기본 규칙은 검색엔진이 웹페이지를 자유롭게 크롤링해 색인하는 대신 링크를 통해 사이트에 방문자 트래픽을 돌려주는 구조였습니다. 그러나 생성형 AI 검색과 대형언어모델(LLM)이 등장하면서 이 균열이 가속화되고 있습니다. 검색 결과 상단에 AI 답변과 요약이 즉시 제시되면서 원본 웹사이트로 유입되는 클릭이 급감하고 있기 때문입니다.
앞서 생성형 검색 전환에 유입 60% 급감… 미디어 생태계 균열이나 LLM 도입 20주 뒤 질문 검색 21.7% 급감… 소형 웹 직격탄에서 다룬 바와 같이, 유입 감소는 전방위적으로 확인되고 있습니다. 위키피디아의 경우에도 구글 영어권 AI 개요(AI Overviews) 출시 이후 트래픽이 빠르게 줄어들었으며, 다른 언어로 AI 요약이 확대 적용될 때도 동일한 패턴이 나타났습니다.
전체 웹 트래픽 절반이 AI 봇… 고품질 웹의 크롤러 차단
트래픽 유입이라는 보상이 사라진 반면, AI 크롤러의 방문은 기존 검색 로봇보다 훨씬 깊고 빈번하게 이루어져 사이트 서버 비용 부담을 키우고 있습니다. 인터넷 상위 10,000개 사이트의 30% 이상을 관리하는 클라우드플레어(Cloudflare)의 추정에 따르면, 현재 전체 웹 트래픽의 절반 이상이 AI 봇으로 구성되어 있습니다.
수익과 트래픽을 잃은 웹사이트들은 robots.txt 설정 등을 통해 AI 크롤러 접근을 차단하기 시작했습니다. 특히 클라우드플레어는 9월 15일부터 광고가 포함된 페이지에서 AI 크롤러를 기본적으로 차단할 예정입니다. 이에 따라 글로벌 상위 사이트의 최대 30%가 구글 AI 개요와 같은 생성형 요약 서비스에서 배제될 수 있습니다.
1차 출처 차단이 부른 인용 오염과 모델 붕괴 위험
신뢰할 수 있는 고품질 콘텐츠 제공자가 크롤링을 차단하면 AI 엔진의 검색 및 인용 풀에는 저품질 사이트가 남게 됩니다. 왜곡 정보나 저품질 콘텐츠를 운영하는 사이트는 AI 크롤러를 차단할 유인이 적기 때문입니다.
- AI 생성 웹사이트 인용 증가: 최근 연구에 따르면 현재 AI 검색 도구가 인용하는 출처 6곳 중 약 1곳(약 16.7%)이 이미 AI로 생성된 웹사이트인 것으로 나타났습니다.
- 모델 붕괴(Model Collapse): AI가 작성한 텍스트를 다시 AI 모델이 수집·학습하면서 답변의 질이 구조적으로 저하되는 현상이 현실화되고 있습니다.
- 검색 신뢰도 저하: 1차 데이터와 전문 분석을 제공하는 웹이 폐쇄되면서 검색 이용자가 검증된 정보를 찾기 어려워지는 문제가 발생합니다.
크롤링 대가를 지급하는 유료 모델 등이 대안으로 거론되었으나 정착되지 못했고, 신뢰도 높은 웹사이트의 차단 조치가 이어지면서 AI 검색 서비스의 인용 데이터베이스 품질 관리가 주요 과제로 떠올랐습니다.
이 사이트가 보는 지점
고품질 원천 데이터 보유 사이트가 AI 크롤러를 차단하기 시작하면서, AI 검색의 인용 대상이 1차 출처에서 2·3차 가공물 및 AI 생성 사이트로 밀려나는 구조적 변화가 시작되었습니다. 이는 GEO 측정 시 '누가 인용되는가'를 볼 때 원천 권위자보다 차단을 풀고 있는 중개 사이트가 역설적으로 더 많이 인용되는 왜곡을 초래할 수 있음을 보여줍니다. 결국 검색 가시성 확보와 크롤링 트래픽 통제 사이의 균형이 브랜드의 인용 지표를 가르는 핵심 변수가 되고 있습니다.
