Bir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
İlgili makaleler
Multiverse Computing'den bir Hugging Face blog yazısı, AI güvenlik filtrelerinin tüm konuyu değil, bir konunun zararlı dilimini reddetmesi gerektiğini savunuyor ve bu yaklaşımın aşırı reddetme oranlarını yaklaşık %49'dan %3'e kadar düşürebildiğini gösteren eğitim verisi sunuyor.
Ana çıkarımlar
Mevcut AI güvenlik filtreleri, o konu içindeki yalnızca dar bir istem alt kümesi gerçekten zararlıyken genellikle tüm konuları engelliyor.
«Sınır çiftleri» kullanan bir eğitim yöntemi — zararlı bir istemi zararsız yakın eşdeğeri ile eşleştirme — bildirilen deneylerde uyum tarafı aşırı reddetmeyi ~%49'dan %3 ile %8 arasına düşürdü.
Aşırı reddedmeler düşerken zararlı taraf reddetme oranları sabit kaldı, bu da değiş tokuşun basitçe filtreyi gevşetmek olmadığını gösteriyor.
AI-sanat yaratıcıları için araştırma, hassas görsel konuları (tarihsel şiddet, tıbbi anatomi, politik imgeler) genel reddedmeler olmadan tartışabilen modellere işaret ediyor.
Yaklaşım, her dağıtım bağlamına özgü sınır-çifti veri kümelerinin düzenlenmesini gerektiriyor, yani uygulama çabası son kullanıcıya değil model geliştiricisine düşüyor.
Pratikte aşırı reddetme sorunu
Aşırı reddetme — bir modelin gerçek bir zarar oluşturmayan bir istemi reddetmesi — görüntü üreticileri ve AI arkadaşları ile çalışan yaratıcılar için günlük bir sürtünme noktasıdır. Bir modelden tarihsel olarak doğru bir savaş alanı sahnesi, klinik anatomi referansı veya politik bir alegori üretmesini isteyin ve kaba konu düzeyinde bir filtre, bu konuların herhangi birinin yalnızca dar bir çerçevesi gerçekten tehlikeli olmasına rağmen genellikle üçünü de reddedecektir.
Hugging Face yazısı bunu bir geometri sorunu olarak çerçeveliyor: herhangi bir hassas konu üzerindeki istemlerin tam evreni, belirli bir dağıtımın gerçekten engellemesi gereken çok daha küçük bir alt küme içeriyor. İdeal filtre, o alt kümenin etrafına sıkı bir sınır çizerek zararsız tamamlayıcıyı tamamen erişilebilir bırakıyor.
Zararlı alt küme (iç bölge) daha geniş konu evreninin içinde yer alıyor; iyi kalibre edilmiş bir filtre tüm konuyu değil yalnızca o iç bölgeyi hedefliyor.
Temel teknik basittir. Güvenlik sınıflandırıcısını yalnızca zararlı örnekler üzerinde eğitmek yerine, araştırmacılar sınır çiftleri oluşturuyorlar — her çift, çizgiyi aşan bir istem ve aynı konu üzerinde güvenli bölgenin hemen içinde oturan bir istemi içeriyor. Bunu bir kapıcıya belirli bir giyim tarzında gelen herkesi reddetmek yerine neredeyse aynı iki misafiri ayırt etmeyi öğretmek gibi düşünün.
Bildirilen sayılar çarpıcıdır. Sınır-çifti verisi olmadan, çalışmadaki modeller yaklaşık 0,49'luk bir uyum tarafı aşırı reddetme oranı gösterdi — yani konu sınırına yakın zararsız istemlerin neredeyse yarısı yanlış şekilde engellendi. Sınır çiftlerinin zararsız tarafını eklemek bu rakamı 0,03 ile 0,08 arasına düşürürken, zararlı taraf reddetmesi sabit kaldı.
Sınır-çifti eğitimi gerçekten zararlı istemlerin reddedilmesini gevşetmeden yanlış pozitifleri keskin şekilde azaltıyor.
Praktik sonuç model seçim baskısıdır. Daha fazla ince ayarlayıcı ve platform operatörü sınır-çifti yöntemlerini benimserken, hassas konuları genel olarak reddeden modeller ile kalibre edilmiş filtrelere sahip olanlar arasındaki fark genişleyecektir. Meşru istemlerde — tarihsel sahneler, tıbbi referanslar, olgun ama yasal temalar — düzenli olarak reddetme duvarlarına çarpan yaratıcılar, bu şekilde eğitilmiş modelleri tercih etmek için somut teknik bir nedene sahip olacaklar.
Sorun dağıtım özgüllüğüdür. Sınır çiftleri her bağlam için düzenlenmelidir: tıbbi görüntüleme dağıtımı, yaratıcı yazma platformundan farklı çiftlere ihtiyaç duyar. Bu düzenleme yükü son kullanıcıya değil model geliştiricisine veya operatörüne düşer. Yaratıcılar bu veri kümelerini kendileri birleştirmeyecekler, ancak hangi istemlerin geçtiği ve hangilerinin geçmediği konusundaki aşağı akış farkını hissedecekler.
Özel ince ayarlar yapan herkes için — temel modeller bulmak için Charmloop model kataloğunu kullanan AI-sanat yaratıcıları arasında büyüyen bir uygulama — araştırma somut bir yön sunuyor: geniş konu düzeyinde bastırmaya güvenmek yerine, modelinizin ele alması gereken belirli konu için sınır-çifti verisine yatırım yapın.
Hugging Face yazısı hazır bir veri kümesi veya tak-çalıştır eğitim tarifi yayınlamıyor, bu nedenle araştırma sonucu ile dağıtılabilir model arasındaki boşluk gerçek kalıyor. Yine de, aşırı reddetme oranlarındaki ölçülü düşüş geliştiricilere hedefleyecekleri ölçülebilir bir hedef veriyor — ve yaratıcılara bir modelin güvenlik katmanının kalibre mi yoksa sadece kaba mı olduğunu değerlendirmek için yararlı bir kıyaslama noktası sunuyor. Reddetmeye eğilimli modellerle başa çıkmak için istem teknikleri rehberleri bu arada alakalı kalıyor, ancak iyi eğitilmiş bir sınır-çifti filtresi bu geçici çözümlerin çoğunu gereksiz hale getirecektir.
