AI 프롬프트 평가의 한계와 결정론적 로직의 필요성

사용자의 검색 습관이 생성형 인공지능(AI) 서비스로 이동하면서 생성형 엔진 최적화(GEO, Generative Engine Optimization)에 대한 관심이 높아지고 있습니다. 그러나 주요 빅테크 기업들이 AI 답변 생성 방식과 인용 가중치 기준을 공개하지 않는 상황에서, 많은 기업이 매일 프롬프트 검색 결과를 캡처하는 방식에 의존하고 있습니다.

IT 지식 플랫폼 요즘IT에 기고된 개발 사례에 따르면, 웹페이지 전체를 LLM에 전달해 GEO 점수를 산출하도록 요청할 경우 언어 모델의 확률적 특성과 환각(Hallucination) 현상으로 인해 동일한 소스 코드에서도 평가 점수가 계속 바뀌는 문제가 발생합니다. 기고자는 "진단 및 수치 산출은 100% 코드가 로직 기반으로 수행한다. AI는 확정된 수집 데이터를 바탕으로 설명 서술만 맡는다"는 원칙을 적용해 재현 가능한 진단 시스템을 구축했다고 밝혔습니다.

데이터 수집과 병렬 분석 파이프라인 설계

일관된 GEO 진단을 위해서는 수집, 병렬 분석, 종합으로 이어지는 3단계 파이프라인 구성이 요구됩니다.

  • 단일 스냅샷 수집: 분석 시점에 따른 HTML 소스 차이를 방지하기 위해 단일 시점의 스냅샷을 먼저 생성합니다. 브랜드 자신의 주장인 온사이트(On-site) 데이터와 외부 검증 데이터인 오프사이트(Off-site) 데이터를 분리해 확보합니다.
  • 독립 에이전트 병렬 분석: 분석 영역별 전문 에이전트가 타 모듈의 결과에 의존하지 않고 원본 데이터를 직접 참조하여 점수를 로직으로 계산합니다.
  • 종합 및 우선순위 도출: 영역별 가중치를 반영해 총점(0~100점)을 산출하고, 기술적 인프라와 콘텐츠 품질 간의 선후 관계를 따져 개선 우선순위를 제공합니다.

E-E-A-T 판정 로직의 세분화와 시행착오

구글 검색 품질 평가 가이드라인에 등장하는 E-E-A-T(경험, 전문성, 권위성, 신뢰성)는 AI 검색 엔진의 핵심 인용 기준이지만, 개념이 추상적이어서 코드 수준의 명확한 분리가 필수적입니다. 기고에서 공유된 주요 구현 인사이트는 다음과 같습니다.

1. 경험(Experience)과 전문성(Expertise)의 구분

경험은 자격 요건 없이 1인칭 서술("실제로 써 본", "다녀온 후기")과 구체적 수치("3개월 만에 40% 절감")를 정규식 패턴으로 판별합니다. 반면 전문성은 대표, 박사, 공인 자격증, 실무 연차 등 객관적 이력 키워드를 바탕으로 검증합니다. 이를 분리하지 않으면 사용자 후기가 풍부한 커머스 사이트가 전문성 부족으로 오탐 감점되는 현상이 발생합니다.

2. 한국어 맥락과 로컬 권위 매체 검증

글로벌 기준 검증 툴은 위키백과나 외신 위주로 권위성을 판단하는 한계가 있습니다. 한국어 사이트 진단 시에는 국가통계포털(kosis.kr), 공공 데이터 포털, 국내 주요 언론사 등 로컬 권위 매체 목록을 병합해 교차 검증을 수행해야 합니다.

3. CMS 기본값 필터링 및 서브 페이지 탐색

워드프레스 등 CMS에서 흔히 나타나는 '관리자', 'admin', '운영팀' 같은 무의미한 저자 표기는 정규식으로 걸러내야 합니다. 또한 자격 정보가 메인 페이지가 아닌 '회사 소개(About)' 페이지에 배치되는 경우가 많으므로 사이트맵을 파싱해 구조화 데이터(JSON-LD의 Person 타입, sameAs 외부 프로필 링크)를 함께 확인합니다.

4. 신뢰성(Trustworthiness)과 원본 HTML 참조

본문 정제 과정에서 헤더와 푸터를 일괄 제거하면 푸터에 몰려 있는 이용약관, 개인정보처리방침, 고객센터 정보가 누락되어 신뢰성 점수가 깎일 수 있습니다. 따라서 신뢰성 관련 요소는 정제 텍스트가 아닌 원본 HTML(rawHtml)에서 직접 검증해야 합니다.

업종별 가중치 차등과 LLM의 역할

업종의 특성을 고려하지 않고 단일 기준을 적용하면 분석 왜곡이 나타납니다. 예컨대 커머스 및 지역 서비스는 경험(Experience) 요소에 가중치(35%)를 더 높게 배정하고, 미디어 및 출판 영역은 전문성(Expertise, 30%) 비중을 높이는 방식의 차등화가 유효합니다. 분류가 모호한 복합 비즈니스의 경우 균등 가중치를 부여해 평가 안정성을 확보합니다.

이러한 구조에서 대규모 언어 모델(LLM)은 점수를 임의로 매기는 주체가 아니라, 규칙 기반 로직이 정리한 진단 객체와 근거 데이터를 바탕으로 담당자가 실행할 수 있는 맞춤형 리포트를 서술하는 역할을 맡게 됩니다.