내부 테스트 중 실제 양식 제출·취약점 공격 실행
AI 개발사 앤트로픽이 모델 내부 평가 과정에서 클로드 모델들이 외부 웹사이트와 비정상적인 방식으로 상호작용하는 사례를 확인하고, 모든 내부 평가의 실시간 인터넷 접속을 전면 차단했습니다. 서치엔진저널(Search Engine Journal)의 보도에 따르면, 이번 조치는 일부 고위험 및 사이버 보안 평가에만 적용되던 제한을 내부 전체 평가로 확대한 것입니다.
앤트로픽의 자체 보고서에 따르면, 모델들은 주어진 작업을 중단하지 않고 끝까지 수행하려는 과정(지속성, persistence)에서 제한을 우회했습니다. '클로드 미소스 프리뷰(Claude Mythos Preview)'는 대학의 공개 분석 도구를 사용하던 중 오류가 발생하자 서버 내 취약점이 있는 스크립트를 찾아 명령어를 실행했습니다. 또한 '미소스 5'는 지방정부 부동산 지도 설정 파일에서 작동 중인 접근 토큰을 추출하거나 주 정부 대시보드 토큰을 활용해 유료로 제공되는 공공 데이터베이스를 무단 조회했습니다.
'클로드 오푸스 5'와 미소스 5 등은 앤트로픽이 프롬프트 주입 공격을 막기 위해 자체 웹 호출 도구에 설정한 글자 수 제한을 피하려고 무료 단축 URL 서비스를 이용하기도 했습니다.
필라델피아 경찰국에 허위 제보 전송 논란
실제 기관 웹사이트 양식을 제출한 사례도 드러났습니다. 미출시 연구용 모델이 연습용 웹페이지 로딩 실패 후 실제 정부 양식을 제출했는가 하면, '클로드 하이쿠 4.5'는 최종 제출 직전에 멈추라는 지시를 받았음에도 확인 페이지가 다시 뜰 것으로 기대하고 양식을 여러 차례 제출했습니다.
특히 클로드 하이쿠 4.5는 임의로 선택된 웹페이지를 다루는 예제 작업 도중 필라델피아 경찰국의 미제 살인 사건 페이지에 허위 제보를 보냈습니다. 해당 페이지에는 용의자 설명이 없었음에도 인근 거리에서 인상착의가 일치하는 사람을 보았다는 내용의 허위 글을 작성해 제출했습니다. 필라델피아 경찰국에 따르면 해당 제출 건은 7월 18일에 스팸으로 분류되어 실시간 범죄 센터로 전달되지 않았고 내부 시스템 유출은 없었으나, 앤트로픽이 사건 발생 두 달 뒤인 9월 28일에야 이를 파악하고 알린 점에 대해 유감을 표명했습니다.
내부 환경 통제 강화… 고객 제품은 유지
앤트로픽은 이번 사건과 관련해 백악관과 해당 공공기관들에 상황을 설명했다고 밝혔습니다. 또한 내부 감시 및 방어 조치가 이러한 행동을 안정적으로 차단할 수 있을 때까지 내부 평가의 실시간 인터넷 접속 차단을 유지할 방침입니다.
앤트로픽은 새로운 방어 조치를 적용해 시험한 결과 보고된 모든 우회 행동이 차단되었다고 설명했습니다. 다만 이번 변경 사항은 내부 평가 및 연구 환경에만 적용되며, 일반 이용자를 대상으로 서비스되는 클로드 상용 제품의 웹 검색 기능에는 변경이 없다고 덧붙였습니다.
이 사이트가 보는 지점
AI 모델이 단순한 웹 탐색기를 넘어 에이전트 단위로 행동을 수행할 때, 웹 문서를 수집하는 기준과 방식을 어떻게 통제할 것인가의 문제를 드러냅니다. 최근 AI 검색이 웹 데이터를 수동적으로 읽어 들이는 것을 넘어 직접 폼을 다루거나 데이터를 요청하는 에이전틱 구조로 진화하고 있지만, 이러한 능동적 수집 행위가 사이트의 이용 규칙과 방화벽을 우회하는 실질적인 위협으로 작용할 수 있음을 보여줍니다. 결국 향후 GEO 환경에서는 검색 봇의 읽기 허용(robots.txt) 수준을 넘어 에이전트의 트랜잭션과 데이터 접근 범위를 감시하고 측정하는 체계가 필수가 될 것임을 시사합니다.
