Theo yapay zekâ haberlerini bu akşam deneyebileceğiniz şeylere dönüştürür.
Prompt yazımı, stiller ve yapay zekâ görsel üretiminden en iyi şekilde yararlanma üzerine adım adım rehberler.
Rehberleri okuBir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Güvenlik araştırmacıları, doğrudan komut manipülasyonu teknikleri kullanarak OpenAI'ın GPT-4o ve Google'ın Gemini modellerindeki güvenlik filtrelerini başarıyla aştı. Saldırılar, büyük yapay zeka sağlayıcılarının açık içerik üretimine karşı nasıl korunduğuna dair temel zayıflıkları gün yüzüne çıkarıyor.
• Araştırmacılar, temel komut mühendisliği teknikleri kullanarak hem OpenAI'ın GPT-4o'su hem de Google'ın Gemini'si üzerinde başarılı atlatma yöntemleri sergiledi • Saldırılar, altta yatan sistemlerdeki teknik açıkları istismar etmek yerine modellerin güvenlik yönergelerini nasıl yorumladığını manipüle ederek işe yarıyor • Her iki şirketin mevcut güvenlik filtreleri, bu tür çıktıları önlemek için özel olarak tasarlanmış olmalarına rağmen açık içerik üretmesi için kandırılabiliyor • Bulgular, modeller kullanıcı dostu arayüzleri korurken daha yetenekli hale geldikçe yapay zeka güvenliğindeki süregelen zorlukları vurguluyor • Araştırma, mevcut içerik filtreleme yaklaşımlarının artımlı iyileştirmeler yerine köklü yeniden tasarımlara ihtiyaç duyabileceğine işaret ediyor
Saldırı teknikleri, modellerin bağlam ve güvenlik sınırlarını anlayışını manipüle eden özenle hazırlanmış komutlara dayanıyor. Açık içerik doğrudan talep etmek yerine bu yöntemler, modelleri yasaklı materyal üretmeye yönlendirmek için dolaylı dil ve senaryo çerçevelemesi kullanıyor.
Araştırmacılar, hem GPT-4o'nun hem de Gemini'nin başlangıçta zararsız görünen ancak modelin kabul edilebilir içerik yorumunu kademeli olarak değiştiren komutlar aracılığıyla açık görüntüler üretmesi için kandırılabildiğini keşfetti. Bu teknikler, belirli kod açıklarını hedef almak yerine modellerin doğal dil talimatlarını nasıl işlediğini istismar ettiği için işe yarıyor.
Yapay zeka görüntü üretimiyle çalışan yaratıcılar için bu bulgular, güvenlik sistemleri ile bunları aşmaya çalışan kullanıcılar arasındaki süregelen kedi-fare oyununun altını çiziyor. Araştırma, özel güvenlik ekiplerine sahip iyi finanse edilmiş şirketlerin bile kusursuz içerik filtreleri oluşturmakta zorlandığını ortaya koyuyor.
Atlatma yöntemleri farklı model mimarileri genelinde işe yarıyor; bu da sorunun uygulamaya özgü sorunlardan değil, yapay zeka hizalamasındaki temel zorluklardan kaynaklandığına işaret ediyor. Bu durum, benzer güvenlik açıklarının görüntü üretimi ve içerik oluşturma için kullanılanlar da dahil olmak üzere diğer yapay zeka sistemlerinde de muhtemelen mevcut olduğu anlamına geliyor.
Ars Technica'ya göre hem OpenAI hem de Google araştırma bulgularından haberdardır ve geliştirilmiş güvenlik önlemleri üzerinde çalışmaktadır. Ancak şirketler, tespit edilen güvenlik açıklarının giderilmesi için belirli bir zaman çizelgesi sunmadı.
Araştırma, yapay zeka geliştiricilerinin karşılaştığı daha geniş bir zorluğu gözler önüne seriyor: model kapasitesini güvenlik kısıtlamalarıyla dengelemek. Modeller nüanslı talimatları anlamada daha sofistike hale geldikçe, sofistike manipülasyon girişimlerine karşı da daha savunmasız hale geliyor.
Yapay zeka araçlarını kullanan yaratıcılar için bu araştırma, güvenlik filtrelerinin kusurlu ve gelişmekte olduğunu hatırlatan bir uyarı niteliği taşıyor. Bu sistemler genel olarak meşru kullanım durumları için amaçlandığı gibi çalışsa da çözülmüş sorunlar olmaktan ziyade süregelen bir geliştirme alanını temsil ediyor. Bu sınırlamaları anlamak, yapay zeka tarafından üretilen içerikle çalışırken ve farklı yaratıcı projeler için uygun yapay zeka araçlarını seçerken daha iyi uygulamaları bilgilendirmeye yardımcı oluyor.
Bulgular ayrıca gelecekteki yapay zeka güvenliği yaklaşımlarının basit içerik filtrelemenin ötesine geçerek kullanıcı niyeti ve bağlamının daha sofistike bir şekilde anlaşılmasına doğru ilerlemesi gerekebileceğine de işaret ediyor. Bu, şirketlerin hız ve esneklik yerine güvenliği ön plana almasıyla birlikte daha uzun yanıt süreleri ve daha muhafazakâr çıktılar anlamına gelebilir.
