팬아웃 답변 많아도 AI 오버뷰 인용 안 늘어

쉽게 말하면

이 연구는 AI 검색이 원래 질문 하나를 풀기 위해 내부에서 여러 갈래로 쪼개어 검색하는 '하위 검색어'를 문서에 많이 담을수록 AI의 출처로 뽑힐 가능성이 높은지 확인하려 했습니다. 연구팀은 235개의 검색어와 1,190개 웹페이지를 모아 실제 인용된 문서들을 분석했습니다. 그 결과, 하위 질문에 일일이 답을 적어 넣었는지는 인용 여부에 영향을 주지 못했고, 오히려 원래 메인 검색어에서 원래 검색 순위가 높거나 글의 분량이 충분히 긴 페이지들이 주로 인용되었습니다. 또 AI 검색 엔진은 사람들이 상상하는 것보다 하위 검색을 훨씬 적게 돌렸으며, 제미나이의 경우 47%의 답변에서는 추가 검색을 아예 하지 않은 조건에서 나타난 결과였습니다.

팬아웃 커버리지 점수, 실제 인용 예측 못 해

인공지능(AI) 검색 엔진이 사용자의 질문을 해결하기 위해 여러 갈래의 연관 검색어를 추가로 실행하는 '쿼리 팬아웃(query fan-out)' 현상을 겨냥한 최적화 전략이 실증 검증을 통과하지 못했다는 연구 결과가 나왔다. 영국 소재 연구소 로렐린 랩스(Laurelin Labs Limited)의 피어스 버틀러(Piers Butler) 연구원은 학술 저장소 제노도(Zenodo)에 공개한 사전등록 연구 논문에서, 하위 쿼리를 폭넓게 다루는 방식이 구글 AI 오버뷰 인용 여부를 설명하지 못한다고 밝혔다.

최근 검색 시장에서는 AI가 파생시키는 배경 검색어를 추적하고, 이를 본문에 얼마나 충실히 반영했는지를 수치화해 최적화 점수로 제시하는 도구들이 다수 등장했다. 연구팀은 하위 검색어에 대한 답변 포괄 범위(커버리지)가 넓을수록 인용 가능성이 커진다는 가설을 검증하기 위해 235개 비브랜드 키워드를 대상으로 관찰 연구를 설계했다.

기존 검색 순위와 본문 길이가 인용 좌우

조사는 46개 도메인 중 최소 한 곳이 구글 AI 오버뷰에 인용된 키워드를 표본으로 삼았다. 후보 문서는 원래 검색어(헤드 쿼리)의 일반 유기적 검색 상위 10위 페이지와 AI 오버뷰가 실제 인용한 모든 페이지로 구성됐다.

연구팀은 구글 검색 기반의 제미나이(705회 호출)와 웹 검색 기반의 클로드(470회 호출)에서 팬아웃을 직접 확인하고, 별도 모델이 추정한 팬아웃(470회 호출)을 합쳐 539개 하위 쿼리의 검색 결과 페이지를 수집했다. 이후 158개 테스트 쿼리, 1,190개 페이지(인용 페이지 670개)를 조건부 로지스틱 회귀로 분석했다.

분석 결과, 인용 여부와 강하게 맞물린 요인은 기존 유기적 검색 순위와 페이지 분량이었다. 메인 검색어의 유기적 순위가 높을수록 인용 가능성이 유의미하게 높았으며(로그 순위 표준편차당 오즈비 0.43), 페이지 분량이 길수록 인용 odds가 높았다(오즈비 1.30). 반면 다음과 같은 항목들은 표본 외 예측력(discrimination)을 개선하지 못했다.

• 질문과 소제목(heading)의 의미적 유사도
• 파생된 하위 쿼리 검색 결과 상위 10위 진입 여부
• 페이지가 전체 하위 쿼리 중 답변한 비율(커버리지)

이들 요소를 모형에 추가했을 때 쿼리 내 AUC(곡선하면적) 변화는 -0.003에서 +0.004 수준에 그쳐, 연구팀이 사전에 설정한 유의 기준치(+0.02)에 미치지 못했다. 또한 인공지능 모델이 추측해 낸 하위 쿼리 역시 실제로 발생한 하위 쿼리와 비교해 인용 예측력에서 유의미한 차이를 내지 못했다.

실제 팬아웃 규모 작고, 47%는 검색 자체 생략

연구에서는 AI 검색 시스템이 실제로 실행하는 팬아웃의 규모 자체가 최적화 업계의 예상보다 작다는 점도 드러났다. 모델이 사전에 추측한 하위 쿼리는 키워드당 평균 16.1개였던 반면, 시스템이 실제로 실행한 하위 쿼리 클러스터는 키워드당 평균 2.35개에 머물렀다. 특히 구글 검색 기반 제미나이의 경우 전체 답변의 47%에서 추가 검색을 전혀 실행하지 않았다.

헤드 쿼리의 유기적 검색 상위 10위 밖에 머물면서도 AI 오버뷰에 인용된 페이지만 따로 떼어 봤을 때, 실제로 발생한 하위 쿼리의 10위권 안에 들어 있던 비율은 14%에 불과했다. 하위 쿼리 순위 확보가 AI 답변 진입의 주된 통로가 아니었음을 나타내는 대목이다. 연구팀은 같은 날 다른 데이터 제공 업체의 자료를 이용해 실시한 교차 검증에서도 동일한 결과를 얻었다고 설명했다.

이 사이트가 보는 지점

업계에서는 AI 배경 검색 '팬아웃 쿼리' 확대… 사전 선별 브랜드 쏠림 심화 같은 흐름에 맞춰 하위 검색어를 분해하고 본문에 채워 넣는 식의 대응을 정답처럼 다뤄왔습니다. 하지만 이번 연구는 파생 쿼리를 얼마나 꼼꼼하게 채웠는지를 뜻하는 '커버리지' 점수가 실제 AI 오버뷰 인용 예측 지표로 작동하지 않는다는 점을 조건부로 입증하며 기존 가설에 제동을 걸었습니다. 10위 밖 인용 문서 중 하위 쿼리 상위권에 든 문서가 14%에 불과하다는 수치는, AI가 단순히 하위 검색의 상위 노출 페이지를 이어 붙여 답변을 조립하는 것이 아님을 보여줍니다. 결국 AI 인용 가능성을 재는 지표로서 하위 쿼리 일치도를 무비판적으로 추종하던 기존 측정 잣대는 재검토가 필요해졌습니다.