호주 전문 매체 가버먼트 뉴스(Government News)는 19일 에이비언(Avian)이 챗GPT(ChatGPT), 마이크로소프트 코파일럿(Microsoft Copilot), 구글 AI 오버뷰(Google AI Overviews)를 대상으로 연방 정부 정보 답변의 신뢰도를 점검한 자체 조사 결과를 보도했다. 가버먼트 뉴스는 에이비언 소속 로렌 리먼(Lauren Leamon)을 디지털 컨설턴트로 소개했으나, 에이비언의 구체적인 사업 영역이나 신뢰도 판정 기준 등 세부 조사 방법은 기사에 공개되지 않았다.

세금·복지 등 102개 질문 중 51%는 3개 도구 모두 신뢰 불가 판정

가버먼트 뉴스 보도에 따르면 에이비언은 세금, 복지, 생물보안, 시민권 등의 주제로 102개 질문을 세 가지 AI 도구에 입력했다. 에이비언 자체 조사(세부 평가 방법 비공개) 결과, 이용자가 실제 행동에 옮길 수 있을 만큼 신뢰할 만한 답변은 전체의 20.9%였다. 부분적으로 신뢰할 수 있는 답변은 49%, 신뢰할 수 없는 답변은 29.7%로 분류됐다.

전체 질문의 51%에서는 세 도구 모두 신뢰할 만한 답변을 내놓지 못했다. 또한 전체 답변의 4.9%에는 지원금을 놓치거나 법적 요건을 위반하고 비용 손실을 초래할 수 있는 고위험 오류가 포함됐다고 에이비언은 밝혔다.

  • 전체 신뢰 가능 답변 비율: 20.9%
  • 부분 신뢰 가능 답변 비율: 49%
  • 신뢰 불가 답변 비율: 29.7%
  • 고위험 오류 포함 답변 비율: 4.9%

도구별로는 신뢰할 수 있는 답변을 낸 비율이 챗GPT 33.3%, 구글 AI 오버뷰 16.7%, 코파일럿 12.7% 순으로 집계됐다. 에이비언 조사에서 검색 결과 상단에 기본으로 노출되는 구글 AI 오버뷰는 답변의 57.8%에서 소셜 미디어를 인용한 것으로 나타났다.

핵심 조건 누락과 공식 출처 내 상충이 오류 원인

로렌 리먼 컨설턴트는 가버먼트 뉴스와의 인터뷰에서 "가장 큰 문제는 틀린 정보가 아니라 빠진 정보였다"고 말했다. 에이비언 조사에서는 답변에 정확한 사실이 들어 있더라도 이용자의 행동을 결정짓는 조건, 예외 사항, 최근 변경 내역 등 핵심 사실이 누락되는 사례가 빈번했다. 리먼 컨설턴트는 사람들이 정부 정보를 수당 신청, 세금 등록, 호주 내 의약품 반입, 해고 불복 등 의사결정에 사용하기 때문에 이러한 누락이 잘못된 결정으로 이어질 수 있다고 설명했다.

출처 인용 여부에 따른 차이도 집계됐다. 에이비언 조사에 따르면 공식 출처를 참조한 답변이 신뢰할 만한 수준으로 분류된 비율은 29.0%였던 반면, 공식 출처를 인용하지 않은 답변에서는 그 비율이 2.3%에 그쳤다.

다만 공식 출처가 인용됐다고 해서 답변이 항상 정확하지는 않았다. 리먼 컨설턴트는 "흔하지는 않지만 정부 콘텐츠 자체에 문제가 있는 경우도 있었다"며 "공식 웹페이지들이 서로 모순되거나 이미 종료된 프로그램과 규정을 그대로 설명하는 사례가 여러 건 발견됐고, AI 도구들은 이를 확신에 찬 어조로 반복했다"고 밝혔다.

정부 기관 웹사이트 간 정보 일관성 유지 권고

리먼 컨설턴트는 지급 요율, 기준액, 프로그램 세부 정보가 여러 출처에 걸쳐 동시에 갱신되어야 하므로 정부 웹사이트 전반에서 정보의 정확성과 일관성을 유지하는 것이 지속적인 과제라고 지적했다.

그는 각 기관이 AI 도구의 답변 생성 방식을 직접 통제할 수는 없지만 AI가 참조하는 정보의 형태는 다듬을 수 있다고 조언했다. 구체적으로 기관 서비스에 관한 질문에 AI 도구가 어떻게 답하는지 시험하고, 관련된 공식 페이지들의 내용이 일치하는지 점검하며, 변경 및 종료 사항과 수치가 적용되는 시점을 명시할 것을 권고했다.

이 사이트가 보는 지점

공식 도메인이 인용에 포함됐는지 여부만 세는 방식으로는 AI 검색 답변의 품질과 위험을 온전히 측정하기 어렵다. 에이비언의 자체 조사는 평가 세부 기준이 공개되지 않은 한계가 있으나, 공식 출처를 인용한 답변에서도 예외 조건이 빠지거나 이미 종료된 제도가 그대로 출력되는 현상을 짚었다. 이는 앞서 다룬 브랜드비전 "여행 AI 추천, 제약 조건과 출처 일관성이 결정" 기사에서 다룬 제약 조건 반영 문제와 맞닿아 있으며, 발행 주체가 자기 사이트 안의 구버전 문서와 현행 문서 간 상충을 정리하지 않으면 인용이 이루어지더라도 오답으로 이어질 수 있음을 보여준다. 다만 공식 문서에 종료 시점과 적용 조건을 명시했을 때 각 AI 엔진이 실제로 구버전 인용을 멈추고 최신 조건을 답변에 반영하는지는 아직 확인되지 않았다.