Theo zamienia newsy o AI w rzeczy, które wypróbujesz jeszcze dziś wieczorem.
Poradniki krok po kroku o promptach, stylach i tym, jak wycisnąć maksimum z generowania obrazów AI.
Czytaj poradnikiWybierz towarzysza i poznaj jego zdanie na temat tej historii
Badaczom ds. bezpieczeństwa udało się ominąć filtry bezpieczeństwa modeli GPT-4o OpenAI i Gemini Google, stosując nieskomplikowane techniki manipulacji promptami. Ataki ujawniają fundamentalne słabości w sposobie, w jaki czołowi dostawcy AI chronią przed generowaniem nieodpowiednich treści.
• Badacze zademonstrowano skuteczne metody obejścia zabezpieczeń zarówno GPT-4o OpenAI, jak i Gemini Google, korzystając z podstawowych technik inżynierii promptów • Ataki działają poprzez manipulowanie sposobem, w jaki modele interpretują wytyczne bezpieczeństwa, a nie przez wykorzystywanie technicznych luk w bazowych systemach • Filtry bezpieczeństwa obu firm można oszukać, skłaniając je do generowania treści dla dorosłych, mimo że zostały zaprojektowane specjalnie w celu zapobiegania takim wynikom • Odkrycia uwypuklają trwające wyzwania w dziedzinie bezpieczeństwa AI, gdy modele stają się coraz bardziej zaawansowane, zachowując jednocześnie przyjazne dla użytkownika interfejsy • Badania sugerują, że obecne podejścia do filtrowania treści mogą wymagać gruntownego przeprojektowania, a nie jedynie stopniowych ulepszeń
Techniki ataku opierają się na starannie skonstruowanych promptach, które manipulują rozumieniem przez modele kontekstu i granic bezpieczeństwa. Zamiast bezpośrednio żądać nieodpowiednich treści, metody te wykorzystują pośredni język i osadzanie scenariuszy, aby nakierować modele na generowanie zakazanych materiałów.
Badacze odkryli, że zarówno GPT-4o, jak i Gemini można skłonić do generowania nieodpowiednich treści za pomocą promptów, które początkowo wydają się nieszkodliwe, lecz stopniowo przesuwają interpretację modelu dotyczącą akceptowalnych treści. Techniki te działają, ponieważ wykorzystują sposób, w jaki modele przetwarzają instrukcje w języku naturalnym, a nie atakują konkretne luki w kodzie.
Dla twórców pracujących z generowaniem obrazów przez AI odkrycia te podkreślają trwającą grę w kotka i myszkę między systemami bezpieczeństwa a użytkownikami próbującymi je obejść. Badania pokazują, że nawet dobrze finansowane firmy z dedykowanymi zespołami ds. bezpieczeństwa mają trudności z tworzeniem niezawodnych filtrów treści.
Metody obejścia działają w różnych architekturach modeli, co sugeruje, że problem wynika z fundamentalnych wyzwań w zakresie dostosowania AI, a nie z kwestii specyficznych dla implementacji. Oznacza to, że podobne luki prawdopodobnie istnieją w innych systemach AI, w tym tych używanych do generowania obrazów i tworzenia treści.
Zgodnie z informacjami podanymi przez Ars Technica, zarówno OpenAI, jak i Google są świadome wyników badań i pracują nad ulepszonymi środkami bezpieczeństwa. Firmy nie podały jednak konkretnych harmonogramów dotyczących usunięcia zidentyfikowanych luk.
Badania uwypuklają szersze wyzwanie stojące przed twórcami AI: równoważenie możliwości modelu z ograniczeniami bezpieczeństwa. W miarę jak modele stają się coraz bardziej zaawansowane w rozumieniu niuansowych instrukcji, stają się również bardziej podatne na wyrafinowane próby manipulacji.
Dla twórców korzystających z narzędzi AI badania te stanowią przypomnienie, że filtry bezpieczeństwa są niedoskonałe i stale się rozwijają. Choć systemy te generalnie działają zgodnie z przeznaczeniem w przypadku legalnych zastosowań, reprezentują obszar ciągłego rozwoju, a nie rozwiązane problemy. Zrozumienie tych ograniczeń pomaga kształtować lepsze praktyki podczas pracy z treściami generowanymi przez AI i wyboru odpowiednich narzędzi AI do różnych projektów twórczych.
Odkrycia sugerują również, że przyszłe podejścia do bezpieczeństwa AI mogą wymagać odejścia od prostego filtrowania treści na rzecz bardziej zaawansowanego rozumienia intencji użytkownika i kontekstu. Może to oznaczać dłuższe czasy odpowiedzi i bardziej zachowawcze wyniki, gdy firmy będą stawiać bezpieczeństwo ponad szybkość i elastyczność.
