HalluSquatting：研究者が9つの主要AIツールをボットネット構築に悪用できることを実証

セキュリティ研究者たちが、AIのハルシネーションをボットネット構築パイプラインへと転換するHalluSquattingと呼ばれる手法を実証した。Ars Technicaの報道によれば、広く使われているAIツール9つがこの攻撃に対して脆弱だという。

主なポイント

• HalluSquattingは、AIツールがハルシネーションで生成する名前に一致する偽のソフトウェアパッケージを登録し、ユーザーがそれをインストールするのを待つ攻撃手法だ。
• 研究者たちは、広く使われているコーディング支援・クリエイティブ支援ツールを含む9つの主要AIプラットフォームが、存在しないまたは悪意あるパッケージを自信を持って推奨することを発見した。
• この攻撃はLLMの根本的な弱点を突いている。モデルは「わかりません」と言えず、もっともらしいパッケージ名を作り上げてしまう。
• AIが生成したインストール手順をパッケージのソースを独自に確認せずに実行するユーザーが主な標的となる。
• ハルシネーションという根本的な問題に対するパッチは存在しない。対策は技術的なものではなく、行動的なものだ。

HalluSquattingの実際の仕組み

そのメカニズムはシンプルであり、だからこそ危険だ。LLMがソフトウェアライブラリやツールの正確な名前を知らない場合、沈黙を保つのではなく、もっともらしい回答を生成してしまう。攻撃者はこうしたハルシネーションによるパッケージ名を監視し、正規のパッケージが登録される前にPyPIやnpmなどの公開リポジトリに登録して、マルウェアを仕込む。AIアシスタントに「Xをインストールするにはどうすればいい？」と尋ね、その出力をそのまま実行したユーザーが侵入口となりうる。

「スクワッティング」という用語は、タイポスクワッティング——URLの打ち間違いを狙ってほぼ同一のドメイン名を登録する古くからの手口——に由来する。HalluSquattingは同じ発想をAIの出力に大規模に適用したものだ。ただし、AIが自動的かつ一貫して、何百万ものクエリにわたってタイポを生成している点が異なる。

研究者たちは9つの著名なAIツールをテストし、適切なプロンプト条件下ではすべてのツールが存在しないパッケージを推奨することを確認した。初期の報道では具体的なプラットフォーム名がすべて明かされたわけではないが、9つというその広さは、これが一部のチューニング不足なモデルの特異な問題ではないことを示している。LLMが不確実性を処理する際の構造的な特性なのだ。

AIを活用したクリエイティブワークフローへの具体的なリスク

AIアートのクリエイターにとって、直接的なリスクは画像生成そのものではなく、その周辺のツールチェーンにある。Stable Diffusion、ComfyUI、automatic1111、またはカスタムのControlNetパイプラインを中心に構築されたワークフローでは、Pythonパッケージ、拡張機能、ノードのインストールが必要になることが多い。クリエイターがセットアップの問題に直面してAIコーディングアシスタントに助けを求めるとき、まさにHalluSquattingの領域に踏み込んでいる。

ComfyUIのカスタムノードをトラブルシューティングしたり、pipで新しいLoRAトレーニングの依存関係をインストールしようとしているクリエイターは、この攻撃が狙う典型的なユーザーだ。AIアシスタントは権威ある口調で答える。パッケージ名は正当に見える。インストールコマンドは構文的に正しい。そしてマルウェアは静かに実行される。

同様のリスクは、バッチ生成の自動化スクリプト、API連携、モデルのファインチューニングパイプラインの構築にAIツールを使用している人にも当てはまる。これらはいずれも本格的なAIアートワークフローでは一般的な作業だ。

従来のセキュリティアドバイスが通用しない理由

標準的なアドバイス——ソフトウェアを最新の状態に保つ、不明なソースからダウンロードしない——はこの脅威にはうまく当てはまらない。ここでの「ソース」は、ユーザーが意図的に選んだ信頼できるAIツールだ。パッケージリポジトリ（PyPI、npm）は正規のソフトウェアが使うものと同じだ。インストール時に明らかな危険信号はない。

唯一の確実な防御策は、インストールコマンドを実行する前にすべてのパッケージ名を独自に確認することだ。ライブラリの公式ドキュメントを確認し、インストール前にリポジトリ上でパッケージの存在を確かめ、基本的な健全性チェックとしてダウンロード数と公開日を確認する。先週の火曜日に公開されてダウンロード数が12件のパッケージは、AIがどれほど自信を持って推奨していても警戒すべきサインだ。

このギャップを完全に埋めるモデルアップデートは存在しない。ハルシネーションは現在のLLMアーキテクチャの確率論的な特性であり、既知のパッチがあるバグではない。AnthropicやOpenAIなどはハルシネーション率の低減に向けて進歩を遂げているが、「低減」は「排除」ではない——そして攻撃者はモデルが一度でも誤れば十分なのだ。

複雑なローカルパイプラインを構築しているクリエイターにとって、AIが生成したインストール手順を最終的な答えとしてではなく、検証すべき出発点として扱うことは、今や理論的な注意事項ではなく、実践的なセキュリティ習慣となっている。