Theo yapay zekâ haberlerini bu akşam deneyebileceğiniz şeylere dönüştürür.
Haftanın en iyi yapay zekâ ve yapay zekâ sanatı haberlerini gelen kutuna al — seçkin, kısa ve ücretsiz.
Ücretsiz. İstediğin zaman çık.
Bir arkadaşını seç ve bu haber hakkındaki görüşünü öğren
Financial Times'a göre OpenAI, geçen ayın sonunda hazırlık ekibini kapattı; bu ekip, modellerinin ciddi riskler oluşturup oluşturmadığını değerlendirmek ve bu riskleri kontrol altına almanın yollarını geliştirmekle görevliydi.
Yıkıcı model risklerini değerlendiren OpenAI'ın hazırlık ekibi, Financial Times'a göre geçen ayın sonunda dağıtıldı.
Görsel: The Verge / The Verge AI
The Verge'ün haberine göre bu çalışmanın sorumluluğu diğer ekiplere devrediliyor; ancak OpenAI, hangi ekibin hangi işlevi üstleneceğini kamuoyuyla paylaşmadı. Bu belirsizlik önemli: hazırlık ekibi, özellikle sınır modelleri en kötü senaryolara karşı stres testine tabi tutmak — bir modelin harici sistemleri özerk biçimde ele geçirme olasılığı dahil — ve bunu modeller kullanıma sunulmadan önce yapmak üzere kurulmuştu.
Hazırlık ekibi, araştırma ile dağıtım arasında konumlanarak OpenAI'ın en yetenekli modelleri üzerinde yapılandırılmış değerlendirmeler yürütüyor ve kamuya açılmadan önce yıkıcı hata modlarını tespit ediyordu. Bunu, belirli bir modelin biyolojik silah üretimine yardımcı olup olamayacağını ya da internette özerk zararlı eylemler gerçekleştirip gerçekleştiremeyeceğini sorgulama göreviyle donatılmış özel bir kırmızı takım birimi olarak düşünebilirsiniz. Bunlar varsayımsal çerçeveler değildi; ekibin gerçek değerlendirme kategorileriydi.
Yapay zeka içerik üreticileri için bu durum, bu sabah yazdığınız komuttan birkaç adım uzakta görünebilir. Ancak render aldığınız, ölçeklendirme yaptığınız ya da karakter referanslarını toplu oluşturmak için kullandığınız modeller, hazırlık ekibinin değerlendirdiği sınır sistemlerin ta kendisidir. Bu değerlendirme işlevi net bir sahip olmaksızın ekiplere dağıtıldığında, tehlikeli bir yeteneği kullanıma sunulmadan kimin yakalayacağı sorusu gerçek anlamda yanıtlanması güç bir hale gelir.
Dağıtma kararı aynı zamanda gergin bir ana denk geliyor. OpenAI, geçen yıl boyunca güvenlik odaklı araştırmacıların peş peşe ayrılışına sahne oldu; şirket bu yılın başında kar amacı gütmeyen yapıdan kar amaçlı yapıya geçti — bu geçiş, hesap verebilirliği zayıflattığını öne süren eski çalışanların eleştirilerine konu oldu. Çalışmanın başka yerlerde devam ettiği söylense de özel bir güvenlik değerlendirme ekibinin kaldırılması, eleştirmenlerin yakından takip ettiği bir örüntüyle örtüşüyor.
Hazırlık ekibinin kapsamı, bir modelin çok adımlı özerk eylemler gerçekleştirdiği — potansiyel olarak zararlı olanlar dahil — senaryoları kapsayan otonom ajan riskini de içeriyordu. Bu artık soyut bir endişe değil. Otonom ajan iş akışları, içerik üreticilerinin çalışma biçiminin giderek daha fazla parçası haline geliyor: referans tarayan, kod çalıştıran, dosya yöneten ya da adım adım insan onayı olmaksızın görevleri zincirleme biçimde yürüten modeller. Boru hattı ne kadar özerkse, o modelin temel güvenlik değerlendirmesi de o kadar önem kazanıyor.
OpenAI'ın API'leri üzerine otonom ajan kurulumları inşa ediyorsanız — varlıkları yönetmek, varyasyonlar üretmek ya da harici hizmetlerle etkileşime girmek için GPT-4o çağrılarını zincirliyorsanız — OpenAI içinde bu yetenekleri hata modları açısından titizlikle kimin değerlendirdiği sorusu, bir ay öncesine kıyasla artık çok daha belirsiz. Bu, modellerin aniden güvensiz hale geldiği anlamına gelmiyor; ancak sorunları size ulaşmadan yakalayan kurumsal yapının değiştiği anlamına geliyor.
Geniş yapay zeka güvenliği tablosunu takip eden içerik üreticileri için sektördeki son olaylar, özel değerlendirmenin neden önemli olduğunu gözler önüne seriyor — Grok görsel güvenliği başarısızlığı, koruma değerlendirmesinin gerçek dünya saldırı vektörünü gözden kaçırmasının ne anlama geldiğinin çarpıcı bir örneği.
OpenAI, hazırlık çalışmalarının nasıl sürdürüleceğine ilişkin ayrıntılar hakkında henüz kamuoyu açıklaması yapmadı. Bunu yapana kadar dürüst bir değerlendirme şu: işlev bir biçimde varlığını sürdürüyor, ancak onu sahiplenen özel ekip artık yok.
