뉴질랜드 총선 정당 정책, AI 답변 가시성 30곳 중 27곳 20점 미만

11월 7일 총선을 앞둔 뉴질랜드에서 원내 6개 정당의 정책이 생성형 AI 답변에 얼마나 드러나는지를 매주 재는 조사가 진행 중이다. 뉴질랜드의 AI 가시성 측정 업체 CiteCompass가 8월 25일 시작한 12주 조사다. 중간 지점인 6주차(9월 21~28일, UTC) 결과를 보면, 정당·정책 조합 30개 가운데 27개가 100점 만점에 20점을 넘지 못했다.

무엇을 쟀나

대상은 국민당·노동당·녹색당·뉴질랜드제일당·마오리당·ACT 등 6개 정당이다. 정책 분야는 생활비, 범죄·치안, 경제·일자리, 보건, 주택 다섯 개로, 6×5=30개 조합을 매주 잰다. 유권자가 정책을 묻는 상황을 흉내 낸 질문을 AI에 던지고, 정당의 정책 정보가 답변에 얼마나 드러나는지를 0~100점의 'AI 가시성 점수'로 매긴다.

CiteCompass는 이 점수가 정책의 좋고 나쁨이나 지지율과 무관하다고 밝혔다. 조사 구조는 뉴질랜드 선거관리위원회에 자문을 구해 정했고, 조사 기간에는 대상 정당에 AI 최적화 서비스를 팔지 않는다고 했다.

6주차: 20점 넘은 곳은 셋뿐

6주차 30개 조합의 평균은 10.37점이었다. 20점 이상은 노동당 보건(41점), 노동당 생활비(38점), 녹색당 보건(20점) 세 곳뿐이다. 0점은 다섯 곳이었다. 노동당 보건의 41점은 조사 시작 이후 처음 나온 40점대 점수다.

가장 낮은 분야는 주택이다. 6주차 주택 평균은 2.0점이고 최고점은 녹색당의 6점이었다. 주택 평균은 6주 내내 2.2점을 넘지 않았다. 주택 정책을 AI에 물으면 정당이 직접 낸 자료 대신 언론이나 다른 제3자 자료로 답이 채워질 수 있다는 뜻이다.

전체 평균은 1주차 9.9점에서 9.5, 10.2, 11.1, 10.4, 10.4점으로 움직였다. 6주 동안 9.5~11.1점의 좁은 범위를 벗어나지 않았다.

평균은 그대로인데 밑에서는 124점이 움직였다

6주차 평균은 5주차(10.43점)와 반올림하면 같다. 하지만 30개 조합 가운데 12개가 오르고 13개가 내렸으며 5개는 그대로였다. 오르내린 폭을 절댓값으로 더하면 124점인데, 서로 상쇄돼 합계는 313점에서 311점으로 2점 줄었을 뿐이다. 노동당 생활비 점수는 한 주 만에 23점에서 38점으로 15점 올랐다.

CiteCompass는 이런 등락을 특정 정책 발표나 캠페인 활동과 연결하지 않는다. 별도 근거가 없으면 원인을 지목하지 않겠다는 것이 보고서의 원칙이다.

정당 정책이 AI에 안 보이는 이유

CiteCompass 공동창업자 더그 존스턴은 뉴질랜드 매체 Stuff와의 인터뷰에서 이를 "정보 구조의 문제"라고 설명했다. 사람은 읽을 수 있는 정책 페이지라도 핵심 근거가 이미지 안에 있거나, 주소가 바뀌거나, 본문이 구조화돼 있지 않으면 기계는 제대로 읽지 못한다는 것이다. 그는 기업 고객이 보통 60~70점대를 목표로 잡는다고도 했는데, 이는 측정 업체 쪽 설명이다.

CiteCompass는 5주차에 모든 정당에 결과를 알리고 정책 URL 같은 사실 오류를 바로잡을 기회를 줬다. Stuff 보도 시점까지 정정을 요청한 정당은 없었다.

질문이 매주 바뀌는 조사를 읽는 법

이 조사에는 해석할 때 걸리는 설계가 하나 있다. CiteCompass는 질문을 12주 동안 고정하지 않는다. 유권자의 관심이 바뀌는 것을 반영한다며 매주 질문을 새로 만든다. 어떤 AI 플랫폼을 몇 번 반복해서 쟀는지, 점수를 어떻게 계산하는지도 공개하지 않았다.

그러면 주간 등락의 원인을 가릴 수 없다. 노동당 생활비 점수가 15점 오른 것이 정당 자료가 나아져서인지, 그 주 질문이 달라져서인지, 같은 질문에도 매번 달라지는 AI 답변의 흔들림인지 이 설계로는 구분되지 않는다. 질문 표현만 바꿔도 AI 추천 결과가 크게 갈린다는 점은 AI 최다 추천 업체 18곳 모두, 어떤 질문 표현에선 한 번도 안 나왔다에서 다룬 바 있다.

그래서 이 조사에서 믿을 만한 것은 주간 순위 변동이 아니라 6주 내내 유지된 수준이다. 전체 평균은 10점 안팎을 벗어나지 않았고, 주택은 어느 주에도 평균 2.2점을 넘지 않았다. 질문이 바뀌어도 낮게 나오는 점수는 질문 탓으로 돌리기 어렵다. 정당들이 정책을 공개해 두기만 하고 AI가 읽을 수 있는 형태로는 내놓지 않았다는 신호로 읽는 편이 맞다.

남은 조사 6주 동안 볼 것은 두 가지다. 결과를 통보받은 정당 가운데 정책 페이지를 고치는 곳이 나오는지, 그리고 고친 뒤 점수가 실제로 오르는지다. 질문이 매주 바뀌는 조건에서도 개선 효과가 드러난다면, 정책 페이지를 고친 것이 점수에 반영됐다고 볼 근거가 생긴다.