Kaynaklar
- Ars Technica AI
Topluluğa katıl
Ücretsiz Charmloop hesabını oluştur — kart yok, gezinmede sınır yok. Dakikalar içinde yapay zekâ sanatı yapmaya başla.

Ücretsiz Charmloop hesabını oluştur — kart yok, gezinmede sınır yok. Dakikalar içinde yapay zekâ sanatı yapmaya başla.

Güvenlik araştırmacıları, yapay zeka halüsinasyonlarını bir botnet oluşturma hattına dönüştüren HalluSquatting adlı bir tekniği ortaya koydu — Ars Technica'nın haberine göre en yaygın kullanılan dokuz yapay zeka aracı bu saldırıya karşı savunmasız durumda.\n\n## Öne çıkan noktalar\n\n- HalluSquatting, yapay zeka araçlarının halüsine ettiği adlarla eşleşen sahte yazılım paketlerini kaydeden ve ardından kullanıcıların bunları yüklemesini bekleyen bir saldırıdır.\n- Araştırmacılar, yaygın olarak kullanılan kodlama ve yaratıcı asistanlar dahil dokuz büyük yapay zeka platformunun bu var olmayan ya da kötü amaçlı paketleri güvenle önereceğini tespit etti.\n- Saldırı, temel bir LLM zayıflığını istismar ediyor: modeller güvenilir biçimde „bilmiyorum" diyemiyor ve bunun yerine akla yatkın görünen paket adları uyduruyor.\n- Yapay zeka tarafından oluşturulan kurulum talimatlarını, paket kaynaklarını bağımsız olarak doğrulamadan takip eden kullanıcılar birincil hedef konumunda.\n- Altta yatan halüsinasyon sorunu için herhangi bir yama mevcut değil; çözüm teknik değil, davranışsal.\n\n## HalluSquatting gerçekte nasıl çalışır?\n\nMekanik son derece basit ve tehlikeli kılan da tam olarak bu. Bir LLM, bir yazılım kütüphanesinin ya da aracın tam adını bilmediğinde sessiz kalmıyor — akla yatkın görünen bir yanıt üretiyor. Saldırganlar bu halüsine edilmiş paket adlarını izliyor, meşru bir paketin sahip çıkmasından önce PyPI veya npm gibi herkese açık depolarda kaydediyor ve ardından bu paketleri kötü amaçlı yazılımlarla dolduruyor. Bir yapay zeka asistanına „X'i nasıl yüklerim?" diye sorup çıktıyı olduğu gibi uygulayan herkes potansiyel bir giriş noktasına dönüşüyor.\n\n„Squatting" terimi, yanlış yazılan URL'leri yakalamak amacıyla neredeyse özdeş alan adları kaydettirme pratiği olan typosquatting'den geliyor. HalluSquatting, aynı fikrin yapay zeka çıktılarına büyük ölçekte uygulanmış hali — tek farkla: yazım hatasını yapay zeka otomatik olarak ve milyonlarca sorgu genelinde tutarlı biçimde üretiyor.\n\nAraştırmacılar dokuz önemli yapay zeka aracını test etti ve hepsinin doğru yönlendirme koşulları altında var olmayan paketler önereceğini buldu. Erken haberlerde platformların tamamı açıkça adlandırılmadı; ancak dokuz araç gibi geniş bir kapsam, bunun kötü ayarlanmış tek bir modelin tuhaflığı olmadığını gösteriyor. Bu, LLM'lerin belirsizliği ele alma biçiminin yapısal bir özelliği.\n\n## Yapay zeka destekli yaratıcı iş akışları için özel risk\n\nYapay zeka sanatı üreticileri için anlık tehlike, görüntü üretiminin kendisinde değil — çevresindeki araç zincirinde. Stable Diffusion, ComfyUI, automatic1111 veya özel ControlNet pipeline'ları etrafında kurulan iş akışları çoğunlukla Python paketleri, uzantılar ve düğümler yüklemeyi gerektiriyor. Üreticiler bir kurulum sorunuyla karşılaşıp yardım için bir yapay zeka kodlama asistanına başvurduğunda, tam anlamıyla HalluSquatting bölgesine girmiş oluyorlar.\n\nBir ComfyUI özel düğümünü sorun gidermeye çalışan ya da pip aracılığıyla yeni bir LoRA eğitim bağımlılığı yüklemeye çalışan bir üretici, bu saldırının tam olarak hedef aldığı kullanıcı profilidir. Yapay zeka asistanı otoriter bir ses tonuyla konuşuyor. Paket adı meşru görünüyor. Kurulum komutu sözdizimsel olarak doğru. Kötü amaçlı yazılım sessizce çalışıyor.\n\nAynı risk, toplu üretim için otomasyon betikleri, API entegrasyonları veya model ince ayar pipeline'ları oluşturmak amacıyla yapay zeka araçlarını kullanan herkese uygulanıyor — bunların tümü ciddi yapay zeka sanatı iş akışlarında yaygın.\n\n## Alışılagelen güvenlik tavsiyelerinin neden yetersiz kaldığı\n\nStandart tavsiyeler — yazılımları güncel tutun, bilinmeyen kaynaklardan indirmeyin — bu tehditle temiz bir şekilde örtüşmüyor. Buradaki kaynak, kullanıcının bilinçli olarak tercih ettiği güvenilir bir yapay zeka aracı. Paket deposu (PyPI, npm) meşru yazılımların kullandığıyla aynı. Kurulum anında belirgin bir tehlike işareti yok.\n\nTek güvenilir savunma, bir kurulum komutu çalıştırmadan önce her paket adını bağımsız olarak doğrulamak: kütüphanenin resmi belgelerini kontrol edin, paketi yüklemeden önce depoda var olduğunu teyit edin ve temel bir akıl yürütme kontrolü olarak indirme sayılarına ve yayımlanma tarihlerine bakın. Geçen Salı yayımlanmış ve 12 indirmesi olan bir paket, bir yapay zekanın ne kadar güvenle önerdiğinden bağımsız olarak bir uyarı işaretidir.\n\nBu açığı tamamen kapatan bir model güncellemesi mevcut değil. Halüsinasyon, mevcut LLM mimarilerinin olasılıksal bir özelliği; bilinen bir yaması olan bir hata değil. Anthropic, OpenAI ve diğerleri halüsinasyon oranlarını azaltma konusunda ilerleme kaydetti; ancak „azaltılmış" ile „ortadan kaldırılmış" aynı şey değil — ve saldırganların modelin yalnızca bir kez yanılması yeterli.\n\nKarmaşık yerel pipeline'lar oluşturan üreticiler için yapay zeka tarafından oluşturulan kurulum talimatlarını nihai bir yanıt olarak değil, doğrulanması gereken bir başlangıç noktası olarak değerlendirmek artık teorik bir ihtiyat değil, pratik bir güvenlik alışkanlığı.