HalluSquatting: 연구진, 주요 AI 도구 9종이 봇넷 구축에 악용될 수 있음을 입증

보안 연구진이 AI 환각을 봇넷 구축 파이프라인으로 전환하는 HalluSquatting이라는 기법을 시연했으며, Ars Technica의 보도에 따르면 가장 널리 사용되는 AI 도구 9종이 이에 취약한 것으로 확인됐다.

핵심 요약

• HalluSquatting은 AI 도구가 환각으로 생성하는 이름과 일치하는 가짜 소프트웨어 패키지를 등록한 뒤, 사용자가 설치하기를 기다리는 공격이다.
• 연구진은 널리 사용되는 코딩 및 창작 보조 도구를 포함한 9개의 주요 AI 플랫폼이 존재하지 않거나 악성인 패키지를 자신 있게 추천한다는 사실을 발견했다.
• 이 공격은 LLM의 핵심적 약점을 이용한다. 모델이 「모르겠습니다」라고 신뢰성 있게 말하지 못하고, 그럴듯하게 들리는 패키지 이름을 지어낸다는 점이다.
• 패키지 출처를 독립적으로 확인하지 않고 AI가 생성한 설치 지침을 그대로 따르는 사용자가 주요 공격 대상이다.
• 근본적인 환각 문제에 대한 패치는 존재하지 않는다. 해결책은 기술적인 것이 아니라 행동적인 것이다.

HalluSquatting의 실제 작동 방식

메커니즘은 단순하며, 바로 그 단순함이 위험하다. LLM이 소프트웨어 라이브러리나 도구의 정확한 이름을 모를 때, 침묵을 지키는 대신 그럴듯하게 들리는 답변을 생성한다. 공격자들은 이렇게 환각으로 만들어진 패키지 이름을 모니터링하고, 합법적인 패키지가 선점하기 전에 PyPI나 npm 같은 공개 저장소에 등록한 뒤, 해당 패키지에 악성코드를 심는다. AI 어시스턴트에게 「X를 어떻게 설치하나요?」라고 묻고 출력 결과를 그대로 따르는 사람은 누구든 잠재적인 침입 경로가 된다.

「스쿼팅」이라는 용어는 오타 도메인 등록(typosquatting), 즉 잘못 입력된 URL을 낚아채기 위해 거의 동일한 도메인 이름을 등록하는 오래된 수법에서 유래했다. HalluSquatting은 동일한 개념을 AI 출력물에 대규모로 적용한 것이다. 다만 AI가 수백만 건의 쿼리에 걸쳐 자동으로, 그리고 일관되게 오타를 생성한다는 점이 다르다.

연구진은 9개의 주요 AI 도구를 테스트한 결과, 적절한 프롬프트 조건에서 모두 존재하지 않는 패키지를 추천한다는 사실을 확인했다. 초기 보도에서 구체적인 플랫폼이 모두 공개되지는 않았지만, 9개 도구라는 범위는 이것이 조율이 잘못된 특정 모델 하나의 특이한 문제가 아님을 시사한다. 이는 LLM이 불확실성을 처리하는 방식의 구조적 특성이다.

AI 보조 창작 워크플로에 대한 구체적 위험

AI 아트 크리에이터들에게 즉각적인 위험은 이미지 생성 자체에 있는 것이 아니라, 그 주변의 툴체인에 있다. Stable Diffusion, ComfyUI, automatic1111, 또는 커스텀 ControlNet 파이프라인을 중심으로 구축된 워크플로는 Python 패키지, 확장 기능, 노드 설치를 필요로 하는 경우가 많다. 크리에이터가 설정 문제에 부딪혀 AI 코딩 어시스턴트에게 도움을 요청할 때, 그들은 정확히 HalluSquatting의 영역에 들어서게 된다.

ComfyUI 커스텀 노드 문제를 해결하거나 pip를 통해 새로운 LoRA 학습 의존성을 설치하려는 크리에이터가 바로 이 공격이 노리는 사용자다. AI 어시스턴트는 권위 있게 들린다. 패키지 이름은 합법적으로 보인다. 설치 명령어는 문법적으로 올바르다. 악성코드는 조용히 실행된다.

동일한 위험은 배치 생성, API 통합, 또는 모델 파인튜닝 파이프라인을 위한 자동화 스크립트를 구성하는 데 AI 도구를 사용하는 모든 사람에게 적용된다. 이 모두는 본격적인 AI 아트 워크플로에서 흔히 볼 수 있는 작업들이다.

일반적인 보안 조언이 여기서 통하지 않는 이유

표준적인 조언 — 소프트웨어를 최신 상태로 유지하고, 출처를 알 수 없는 곳에서 다운로드하지 말라 — 은 이 위협에 깔끔하게 적용되지 않는다. 여기서 출처는 사용자가 의도적으로 선택한 신뢰할 수 있는 AI 도구다. 패키지 저장소(PyPI, npm)는 합법적인 소프트웨어가 사용하는 것과 동일하다. 설치 순간에 명백한 위험 신호가 없다.

유일하게 신뢰할 수 있는 방어책은 설치 명령을 실행하기 전에 모든 패키지 이름을 독립적으로 확인하는 것이다. 해당 라이브러리의 공식 문서를 확인하고, 설치 전에 저장소에 패키지가 존재하는지 확인하며, 기본적인 검증 수단으로 다운로드 수와 게시 날짜를 살펴보라. 지난 화요일에 게시되어 다운로드 수가 12건에 불과한 패키지는 AI가 아무리 자신 있게 추천했더라도 경고 신호다.

이 격차를 완전히 해소하는 모델 업데이트는 존재하지 않는다. 환각은 알려진 패치가 있는 버그가 아니라 현재 LLM 아키텍처의 확률론적 특성이다. Anthropic, OpenAI 등은 환각 발생률을 줄이는 데 진전을 이뤘지만, 「감소」는 「제거」가 아니다. 그리고 공격자는 모델이 단 한 번만 틀리면 된다.

복잡한 로컬 파이프라인을 구축하는 크리에이터들에게, AI가 생성한 설치 지침을 최종 답변이 아닌 검증해야 할 출발점으로 취급하는 것은 이제 이론적 주의사항이 아니라 실질적인 보안 습관이다.