쉽게 말하면
이 연구는 인공지능(AI) 검색 엔진에 같은 질문을 여러 번 던졌을 때 특정 브랜드나 정보가 얼마나 일정하게 나타나는지 재는 방법을 다룹니다. 쉽게 비유하면, 시험을 한 번만 보고 실력을 단정하기 어렵듯이 질문 표현을 조금씩 바꾸고 여러 검색 엔진에서 반복해서 답을 뽑아 비교하는 측정 틀을 설계한 것입니다. 이 연구는 AI 검색 조작 여부를 확정 짓는 대신, 우연히 나온 답변과 실제 검색 규칙의 변화를 통계적으로 가려낼 수 있는 구체적인 측정 기준을 제시했다고 봅니다.
생성형 검색의 가변성과 새로운 측정 요구
생성형 인공지능 기반 검색 시스템은 사용자가 브랜드, 기업, 제품, 정보 출처를 발견하는 경로에 큰 영향을 미치고 있습니다. 그러나 기존 검색 엔진 결과 페이지(SERP)와 달리 생성형 검색의 답변은 매번 달라질 수 있습니다. 의미상 동일한 질문에도 다른 출처를 인용하거나, 검색 플랫폼마다 대상(Entity)을 다르게 설명하는 현상이 발생합니다.
제노도(Zenodo)에 공개된 연구 보고서에 따르면, 오젬 디지털 마케팅(Ozem Dijital Pazarlama)의 엠레 카자느르(Emre Kazanır) 연구원은 생성형 검색 엔진에서 브랜드 가시성이 일회성 확률적 노출인지, 아니면 출처에 근거하고 재현 가능한지 평가하는 반복 측정 프레임워크인 'ASVST(AI Search Visibility Stress Test)'를 제시했습니다.
ASVST가 제안하는 7가지 평가 차원
ASVST 방법론은 생성형 검색 환경에서의 가시성을 다각도로 검증하기 위해 다음과 같은 7개 핵심 차원을 정의했습니다.
- 브랜드 언급 비율(Brand Mention Rate)
- 인용 비율(Citation Rate)
- 출처 유형 편향(Source-Type Bias)
- 프롬프트 민감도(Prompt Sensitivity)
- 엔진 간 안정성(Cross-Engine Stability)
- 엔터티 정확도(Entity Accuracy)
- 실행 간 변동성(Run-to-Run Variance)
이 프레임워크는 검색 의도를 네 가지 유형(내비게이션형, 카테고리형, 비교형, 문제 해결형)으로 나누고, 유사 질의문 세트와 반복 실행, 복수 검색 엔진 간 비교를 결합하는 방식을 사용합니다. 연구진은 정확한 프롬프트, 인용된 웹 주소(URL), 출처 유형, 엔터티 설명, 타임스탬프, 관측 가능한 검색 환경 조건을 빠짐없이 기록할 것을 권고합니다.
조작 가능성에 대한 가설 검증 도구
논문은 "AI 검색은 조작될 수 있는가?"라는 질문을 결론이 아닌 연구 문제로 설정했습니다. 연구진은 생성형 검색 시스템의 인위적 조작이 입증되었다고 단정하지 않으며, 관측된 가시성 변화가 일반적인 확률적 변동 수준을 넘어서는지, 그리고 그 변화가 정보 검색·인용·엔터티 표현 패턴과 통계적으로 연결되는지 검증할 수 있는 반증 가능한 프로토콜을 제시하는 데 집중했다고 밝혔습니다.
해당 프레임워크는 생성형 엔진 최적화(GEO), AI 검색, 엔터티 가시성, 시맨틱 검색을 연구하는 연구자와 마케팅 전략가를 대상으로 설계되었으며, 향후 통제된 다중 엔진 실험과 신뢰구간 분석 등으로 확장될 수 있습니다.
