5W의 챗GPT 쇼핑 지표, 구매 아닌 실행 횟수 집계 논란

실행 횟수 기반 집계… 실제 결제나 매출은 미측정

인공지능 가시성 대행사 5W가 발표한 챗GPT 쇼핑 지표가 실제 판매나 결제가 아닌 프롬프트 실행 횟수만을 센 것이라는 분석이 제기됐습니다. IT 매체 오픈툴즈(OpenTools)의 보도에 따르면, 5W는 인덱스 조사를 위해 AI 분석 도구 프로파운드(Profound)를 활용했습니다.

5W의 2026년 11월 2일 자 인덱스는 2026년 8월 3일부터 11월 1일까지 미국 챗GPT를 대상으로 진행됐습니다. 조사 대상 분야는 화장품, 스킨케어·메이크업, 유아용품·가구, 골프 등 4개 영역이었으며, 총 34,637회의 프롬프트 실행이 이뤄졌습니다. 이 가운데 쇼핑 결과가 노출된 실행은 19,630회로, 56.7%의 비중을 나타냈습니다.

하지만 해당 조사는 실제 소비자의 구매나 결제 단계, 그리고 특정 브랜드가 추천 순위에 오른 구체적인 원인까지는 측정하지 못했습니다. 오픈툴즈는 이번 수치가 AI 가시성 서비스를 제공하는 대행사의 자체 분석이며, 조사에 쓰인 원시 프롬프트 출력 데이터는 직접 검토되지 않았다고 밝혔습니다.

비무작위 프롬프트와 서로 다른 세 가지 분모

오픈툴즈는 5W의 조사 설계에 포함된 표본 구성과 지표 산출 방식의 한계도 지적했습니다. 이번 집계에 사용된 1,114개의 추적 프롬프트는 무작위로 추출되지 않았으며, 반복 실행된 횟수도 균등하지 않았습니다. 또한 전체 풀링 비율(pooled rate) 역시 개별 사용자나 균등하게 표집된 카테고리가 아니라 단순히 프롬프트 실행 횟수에 가중치를 두어 계산됐습니다.

지표를 산출할 때 서로 다른 세 가지 분모를 사용한 점도 분석 시 혼선을 줄 수 있는 요인으로 꼽혔습니다. 5W가 사용한 세 지표는 다음과 같이 분모가 다릅니다.

• 트리거 비율(Trigger rate): 전체 실행 횟수 중 쇼핑 결과가 생성된 실행의 비율
• 판매자 점유율(Merchant share): 전체 결과 인벤토리에서 개별 소매업체가 차지하는 몫
• 가시성(Visibility): 쇼핑 답변 중에서 특정 상호명이 언급된 답변의 비율

오픈툴즈는 한 번의 쇼핑 답변 안에 여러 브랜드가 동시에 언급될 수 있기 때문에, 브랜드 별칭(alias) 가시성을 단순히 더하는 방식으로 전체 노출도를 합산할 수 없다고 설명했습니다.

이 사이트가 보는 지점

챗GPT 기반 상거래를 측정할 때 단순 응답 발생률과 실제 전환을 혼동해서는 안 된다는 점을 보여줍니다. 이는 앞서 치앙라이타임스 "AI 인용·브랜드 언급·유입 분리해 측정해야" 보도에서 언급된 것처럼, 언급 빈도와 노출 지분, 유입을 분리해 파악해야 하는 측정 원칙과 맞닿아 있습니다. 프롬프트 세트가 무작위성을 확보하지 못하거나 실행 횟수만을 분모로 삼을 경우 가시성 지표가 실제 구매 영향력을 과대 대표할 위험이 여전히 존재합니다.