[인트릭스 연구소] 같은 모델 계열도 호출 경로가 다르면 인용 출처가 갈린다

"AI가 무엇을 인용하는가"라는 질문에는 빠진 조건이 있다. 어떤 검색 표면에서 측정했는가다. 같은 제공사의 같은 모델 계열에 동일한 질의를 넣고 호출 경로만 달리한 사전등록 실험에서, 질의 144개의 인용 도메인 겹침은 중앙값 0.065였다. 48개 질의, 즉 33%는 겹침이 0이었다. (2026-08-16 실측)

같은 모델에 같은 질문을 던지면 같은 곳을 인용하나

비교한 두 경로는 검색 도구를 결합해 호출한 쪽(이하 A)과 검색이 내장된 별도 모델을 호출한 쪽(이하 B)이다. 겹침은 두 경로가 인용한 도메인 명단이 얼마나 일치하는지를 0에서 1 사이로 나타낸 값으로, 1이면 완전히 같고 0이면 하나도 겹치지 않는다.

구분	값
질의별 겹침 중앙값	0.065
평균	0.096
1사분위 / 3사분위	0.000 / 0.158
겹침이 0인 질의	48개 (33%)
겹침 0.2 미만인 질의	121개 (84%)

1사분위가 0.000이라는 것은 질의 넷 중 하나는 두 경로가 완전히 다른 출처를 물어 왔다는 뜻이다. 모델 이름만 같다고 개별 답변이 비슷한 출처 명단을 내놓을 것이라는 전제는 이번 관측과 맞지 않는다.

업종마다 정도가 다른가

6개 업종에서 지역형 20개와 전국형 4개 질의를 구성했고, 자사 자산 3개 도메인은 제외했다. 두 경로는 질의마다 3회씩 실행해 각각 432콜을 비교했다.

업종	겹침 중앙값
성형외과	0.000
마케팅	0.051
피부과	0.057
변호사	0.077
영상제작	0.106
홈페이지제작	0.121

성형외과는 24개 질의 중 13개의 겹침이 0이었다. 업종에 따라 정도는 달랐지만 어느 표면인지 기록해야 한다는 문제는 공통으로 남는다.

출처의 성격은 어떻게 이동했나

분류된 출처만 놓고 보면 성격도 옮겨갔다. 공공·협회 비중은 A의 25.6%에서 B의 4.0%로 21.5%p 낮아졌고, 플랫폼과 미디어를 합친 비중은 반대 방향으로 4.0%에서 14.0%까지 올라갔다.

답변의 외형도 같지 않았다. A는 호출당 인용 4.6건이었고 검색을 한 번도 하지 않은 호출이 26건 있었다. B는 호출당 인용 8.1건이었고 인용이 0건인 호출은 없었다.

따라서 "이 모델은 공공기관을 주로 인용한다" 같은 문장은 표면 조건 없이 일반화하기 어렵다. 특정 경로에서 나타난 출처 구성을 모델 전체의 습관으로 바꾸어 말할 수 없다는 뜻이다.

표면이 모델보다 중요한가

그렇게 결론 내릴 수 없다. 전체 고유 도메인은 A 736개, B 863개였고 220개가 겹쳐 전체 명단 기준 겹침은 0.160이었다. 이 값은 모델을 바꿨을 때의 0.110보다 높다.

두 표면은 비교적 비슷한 전체 후보 풀에서 출처를 뽑으면서도, 개별 질의에서는 서로 다른 대상을 선택한 것으로 읽는 편이 맞다. 전체 명단의 유사성과 답변 한 건의 재현성은 별개의 층위다.

실무자는 무엇을 기록해야 하나

측정 보고서에는 모델명뿐 아니라 호출 경로, 검색 결합 방식, 반복 횟수, 질문군을 함께 남겨야 한다. 어느 표면에서 얻은 결과인지 빠지면 같은 질문을 다시 던져도 출처 관측을 재현하기 어렵다.

캠페인 전후를 비교할 때도 표면을 고정하지 않으면 경로 차이가 콘텐츠 개선의 효과처럼 보일 수 있다. 발주자 역시 "인용이 늘었는가"에 앞서 어느 표면을 기준으로 삼았는지 요구할 필요가 있다.

이 결과를 어디까지 믿어야 하나

세 가지 한계를 밝힌다.

첫째, 여기서 B는 ChatGPT 웹 앱이 아니라 또 하나의 API 표면이다. 그러므로 이번 결과를 "API가 웹 앱과 같은가"라는 질문의 답으로 읽어서는 안 된다. 사람들이 실제로 쓰는 웹 앱까지 포함한 비교는 아직 남은 숙제다.

둘째, 출처 유형 분류의 커버리지가 낮다. 미분류가 A 70.4%, B 81.9%이며, 유형 구성 수치는 분류된 부분(A 30%, B 18%)에 한정된 이야기다. 미분류 항목을 개별 업체로 읽어서는 안 된다.

셋째, 앞서 적은 대로 전체 명단 기준 겹침 0.160은 모델 간 0.110보다 크지 않다고 말할 수 없는 값이다. 표면 차이가 모델 차이보다 크다는 결론은 이 자료가 뒷받침하지 않는다.

자주 묻는 질문

Q. 겹침 0.065는 얼마나 낮은 값인가요?
두 경로가 인용한 도메인 명단이 거의 일치하지 않는 수준이다. 질의 33%는 아예 하나도 겹치지 않았고, 84%는 0.2 미만이었다.

Q. 그럼 API로 잰 인용 측정은 믿을 수 없나요?
그런 뜻이 아니다. 측정값과 함께 어느 표면에서 쟀는지를 남기면 된다. 문제는 표면을 밝히지 않은 수치끼리 비교할 때 생긴다.

Q. 웹 앱에서도 같은 결과가 나오나요?
이 실험으로는 답할 수 없다. 비교한 두 경로 모두 API이며, 웹 앱은 포함되지 않았다.

Q. 표면과 모델 중 무엇이 더 큰 영향을 주나요?
이 자료로는 가릴 수 없다. 전체 명단 기준으로는 표면 간 겹침(0.160)이 모델 간 겹침(0.110)보다 오히려 높았다.

이 조사는 누가 했나

이 실험의 설계와 측정은 부산 AI 검색 최적화 기업 인트릭스 연구소가 수행했습니다. 관측을 시작하기 전에 질의 배터리, 판정 기준, 분석 방법을 문서로 확정해 공개한 사전등록 실험입니다.

결과를 보고 기준을 바꾸지 않기 위한 절차이며, 예측이 빗나가도 그대로 공개합니다. 사전등록 문서와 진행 중인 다른 연구는 인트릭스 연구소에서 볼 수 있습니다.