AI 답변은 묻는 사람이 누구인지에 따라 달라진다. AI가 기억하는 사용자 정보나 대화 중에 밝힌 조건이 추천에 영향을 주지만, 노출 측정은 대개 맥락 없는 질문 한 번으로 이뤄진다. 같은 질문이라도 고객 유형에 따라 추천에서 빠지는 단계가 달라질 수 있다.

병목을 찾는 GEO 에이전시 인트릭스는 11월 4일 ‘고객 프로필별 AI 대화 점검’을 시범 운영하기 시작했다. 일부 측정 회차로 먼저 돌려 보며 결과를 확인하는 단계다. 아직 고객 대시보드와 측정 리포트에는 넣지 않았으며, 고객이 신청하거나 입력할 것은 없다.

되물은 조건으로 맞는 고객과 맞지 않는 고객 비교

이번 점검은 지난 ‘되물음’ 소식에서 이어진다. AI가 업체를 고르기 전에 물은 위치, 업종, 규모는 해당 질문에서 추천을 가르는 기준이다. 인트릭스는 그 조건으로 회사 홈페이지에 적힌 서비스 지역과 대상 고객에 맞는 고객 프로필, 맞지 않는 프로필을 함께 만든다. 유리한 고객만 설정해 결과가 좋게만 나오는 것을 피하려는 구성이다.

가상의 예로 “법인 세무 기장을 맡길 세무사무소를 추천해 주세요”라는 질문에 AI가 지역과 업종, 매출 규모를 되묻는 경우가 있다. 홈페이지의 조건에 맞는 고객을 서울 강남의 IT 스타트업, 직원 12명으로, 맞지 않는 고객을 제주에서 혼자 운영하는 카페로 두고 비교한다.

기억한 정보와 대화 중 밝힌 조건에 따른 차이 확인

같은 질문을 각 고객의 상황으로 다시 묻되, AI 앱의 기억 기능처럼 고객 정보를 미리 알려 둔 경우와 대화 중 질문에 하나씩 답한 경우를 나눠 본다. 대화에서는 AI가 다시 물으면 다시 답하고, 업체 추천이 나올 때까지 이어 간다.

인트릭스 자사 질문 3개로 먼저 해 본 시험에서 한 AI 서비스는 사용자 정보를 기억할 때 9번 중 6번 검색어에 그 정보를 넣었다. 기억이 없을 때는 9번 중 0번이었다. 업체를 고르는 질문에서는 인용 출처도 크게 바뀌었다. 기억이 없을 때 인용된 도메인 54개 중 두 고객 유형에서 각각 24개, 16개만 남았다. 한 업종의 질문 3개로 해 본 시험이므로 이 비율을 일반화하지 않는다.

추천에서 빠진 단계와 대체 출처를 남기는 시범 운영

점검은 프로필 없이 물었을 때와 비교해 고객 유형에 따라 자사 사이트가 추천에서 빠지는 단계가 달라지는지 확인한다. AI가 페이지를 아예 읽지 않았는지, 읽었는데 다른 곳을 골랐는지를 가른다. 자사가 빠졌을 때 대신 인용된 출처는 해당 고객에게 자사 페이지의 어떤 내용이 모자란지 찾는 출발점이 된다. 대화 몇 번째에 업체 추천이 나왔는지, 자사 사이트의 상태가 몇 번째에 바뀌었는지도 남긴다.

인트릭스는 시범 운영 결과를 보고 정식 서비스에 넣을지 정할 예정이다. 넣는 시점과 방식은 아직 정하지 않았다. 이번 점검의 범위는 고객 프로필별 AI 대화 점검 안내에, 출발점이 된 내용은 지난 되물음 소식에 정리돼 있다.