LLM 인용의 비결정론과 GEO 전략 변화

인공지능 모델에서 브랜드 인용 결과는 고정된 값이 아니며 추론 인프라와 검색 환경에 따라 달라집니다. 최근 발표된 기술 백서는 생성 모델의 확률적 특성을 3가지 계층으로 정리하고, 단발성 점검 대신 지속적인 시계열 모니터링이 필요하다고 제안했습니다.

쉽게 말하면

이 논문은 인공지능이 똑같은 질문을 받아도 왜 매번 다른 대답을 하거나 특정 회사 이름을 빼먹는지 그 까닭을 알아보고자 했습니다. 연구자는 컴퓨터가 계산을 처리하는 방식, 여러 인공지능 전문가 모델이 일을 나누는 과정, 그리고 인터넷 문서를 찾아오는 시스템을 단계별로 나누어 분석했습니다. 그 결과 인공지능의 온도를 0으로 설정해 가장 정확하게 답하도록 만들어도 내부 계산 순서나 문서를 찾는 검색 환경이 바뀌면 결과가 달라질 수 있다는 점을 확인했습니다. 쉽게 비유하면 같은 요리법으로 음식을 만들어도 주방 도구의 상태나 재료가 들어오는 순서에 따라 맛이 조금씩 달라지는 것과 비슷합니다. 따라서 연구자는 인공지능의 답변을 한 번만 확인해서는 결과를 단정하기 어렵고 여러 번 꾸준히 지켜봐야 한다고 봅니다.

인공지능 응답 변동성을 구성하는 3가지 계층

라파엘 소우자 페레이라(Raphael Sousa Pereira) 연구원이 제논(Zenodo)에 공개한 논문 'DETERMINISMO E PROBABILIDADE NAS LLMs'에 따르면, 대형 언어 모델(LLM)의 인용 여부는 고정적이거나 영구적으로 재현 가능한 결과가 아닙니다. 논문은 생성형 모델의 응답 변동성을 생성, 내부 라우팅, 문서 검색 등 3가지 계층으로 분류해 설명합니다.

첫 번째 생성 계층에서는 무작위성을 배제하는 설정인 '온도 0(Temperature zero)'을 적용하더라도 실제 운영 환경에서는 결정론적 결과가 보장되지 않는다는 점을 지적합니다. 이는 다음과 같은 추론 인프라 요인 때문입니다.

연속 배치(Continuous batching) 및 동적 배치 구성
부동소수점 연산의 비결합성(Non-associativity of floating-point operations)
하드웨어 최적화 커널의 실행 전략 변경

논문은 인공지능의 출력이 사용자가 입력한 프롬프트뿐만 아니라 요청을 처리하는 보이지 않는 인프라 환경의 영향을 받는다고 설명합니다.

MoE 구조와 RAG 검색 시스템의 불확실성

두 번째 계층은 다중 전문가(Mixture-of-Experts, MoE) 아키텍처 내부의 라우팅 문제입니다. MoE 모델에서는 각 전문가 네트워크의 처리 용량 제한과 토큰 간의 경쟁, 토큰 드롭(Token dropping) 메커니즘이 작동합니다. 이로 인해 동일한 토큰에 대해 라우터가 같은 전문가를 선택하더라도 실행 시점에 따라 응답 차이가 발생할 수 있습니다.

세 번째 계층은 검색 증강 생성(RAG) 기반의 문서 검색 과정입니다. 모델이 참고하는 정보 출처는 시간에 따라 인덱스, 임베딩, 랭킹 및 후보군이 지속해서 변화합니다. 따라서 원본 웹페이지의 콘텐츠가 바뀌지 않더라도 검색 시스템의 상태 변화로 인해 특정 브랜드나 문서가 인용 대상에서 제외될 수 있습니다.