30년간 유지된 '크롤링과 링크' 교환 계약의 붕괴
웹 검색 생태계는 지난 30년간 검색 엔진이 콘텐츠를 크롤링해 색인하는 대신 유입 링크와 트래픽을 제공한다는 암묵적 사회적 계약을 바탕으로 유지되어 왔습니다. 그러나 인공지능(AI) 검색 도구와 모델 학습용 크롤러가 등장하면서 이 균형이 흔들리고 있습니다. AI 도구는 원본 사이트로 트래픽을 넘겨주기보다 답변을 직접 생성하는 데 주력하며, 제공되는 출처 링크는 주된 답변에 덧붙는 부차적 요소로 밀려났습니다.
웹 호스팅 및 보안 서비스 기업 클라우드플레어(Cloudflare)의 추산에 따르면, 현재 전체 웹 트래픽의 절반 이상이 AI 봇에서 발생하고 있습니다. AI 크롤러는 기존 웹 크롤러보다 더 깊고 집중적인 탐색을 수행해 서버 비용을 가중시키지만, 유입 트래픽 감소로 인해 웹사이트 운영자는 광고나 전환 수익을 얻지 못하는 경제적 단절에 직면하고 있습니다.
'구글 제로' 현상과 위키피디아 트래픽 감소
검색 엔진을 통한 유입 트래픽이 사실상 0에 수렴하는 현상을 일컫는 '구글 제로(Google Zero)'에 대한 우려도 커지고 있습니다. 위키피디아를 대상으로 진행된 연구에 따르면, 영어권 구글 검색에 AI 요약 기능이 도입된 직후 영어판 위키피디아의 트래픽이 빠르게 감소했으며, 다른 언어로 AI 요약이 확대 적용될 때도 동일한 패턴이 관측되었습니다. 이는 구글, 검색 'AI 개요' 자동 확장 적용… 웹 링크 하단 이동 등 검색 인터페이스 변화가 실제 원천 사이트 유입에 직접적인 타격을 주고 있음을 보여줍니다.
클라우드플레어의 기본 차단 조치와 출처 왜곡 악순환
웹사이트 운영자들은 robots.txt 설정이나 네트워크 차단을 통해 대응하고 있습니다. 인터넷 상위 1만 개 사이트의 30% 이상을 관리하는 클라우드플레어는 오는 9월 15일부터 광고가 포함된 페이지에 대해 AI 크롤러 접근을 기본적으로 차단할 예정이라고 밝혔습니다. 이 조치가 적용되면 전 세계 상위 사이트의 최대 30%가 구글 AI 개요(AI Overviews) 요약에서 배제될 수 있습니다.
문제는 고품질 원본 콘텐츠를 보유한 사이트들이 크롤러를 차단할수록 AI 답변의 신뢰성이 저하될 가능성이 높다는 점입니다. 허위 정보나 저품질 콘텐츠를 게시하는 사이트는 AI 크롤러를 차단하지 않을 가능성이 높기 때문입니다. 최근 연구에 따르면 AI 검색 도구가 인용하는 출처 6곳 중 1곳(약 16.7%)은 이미 AI가 생성한 웹사이트인 것으로 나타났습니다. 양질의 데이터 접근이 막히고 AI 생성 텍스트를 다시 학습하면서 출력이 저하되는 '모델 붕괴(model collapse)' 위험도 제기됩니다.
트래픽 중심 측정 체계의 구조적 변화
웹 생태계의 경제적 구조가 재편되는 과정에서 AI 요약의 품질 저하는 단기적으로 불가피하다는 분석이 나옵니다. 구글 스팸 업데이트와 AI 개요 확산… 클릭 중심 측정 지표의 재편에서 다뤘듯, 기존의 단순 유입 클릭 기반 측정 지표는 크롤러 차단과 노출 배제라는 새로운 변수를 맞닥뜨리고 있습니다. 웹사이트 운영자가 AI 접근을 허용할 유인책으로 '크롤링 유료화(pay to crawl)' 모델 등이 거론되었으나, 아직 시장에서 뚜렷한 안착을 이루지는 못한 상태입니다.
이 사이트가 보는 지점
클라우드플레어의 기본 차단 조치처럼 원천 데이터 제공자가 접근을 걸어 잠그면, AI 검색의 인용 풀 자체가 왜곡되어 저품질·AI 생성 콘텐츠의 인용 비중이 강제로 상승하는 구조가 형성됩니다. 이는 구글 스팸 업데이트와 AI 개요 확산… 클릭 중심 측정 지표의 재편 흐름과 맞물려, 브랜드가 AI 검색 가시성을 측정할 때 '크롤링 허용 여부와 유입 손실' 사이의 손익을 계량화해야 하는 새로운 측정 과제를 던집니다. 유료 크롤링 모델이나 대체 인센티브 구조가 정립되지 않는 한, 인용 가능성(citation viability) 측정은 단순 순위 추적을 넘어 접근 제어 정책과의 연동 평가로 전환될 것입니다.
