Investigadores de seguridad han logrado eludir los filtros de seguridad de los modelos GPT-4o de OpenAI y Gemini de Google mediante técnicas sencillas de manipulación de prompts. Los ataques exponen debilidades fundamentales en la forma en que los principales proveedores de IA protegen contra la generación de contenido explícito.
Conclusiones clave
• Los investigadores demostraron métodos de elusión exitosos contra GPT-4o de OpenAI y Gemini de Google utilizando técnicas básicas de ingeniería de prompts
• Los ataques funcionan manipulando la forma en que los modelos interpretan las directrices de seguridad, en lugar de explotar vulnerabilidades técnicas en los sistemas subyacentes
• Los filtros de seguridad actuales de ambas compañías pueden ser engañados para generar contenido explícito a pesar de haber sido diseñados específicamente para evitar dichos resultados
• Los hallazgos ponen de relieve los desafíos continuos en materia de seguridad de la IA a medida que los modelos se vuelven más capaces mientras mantienen interfaces amigables para el usuario
• La investigación sugiere que los enfoques actuales de filtrado de contenido pueden necesitar rediseños fundamentales en lugar de mejoras incrementales
Cómo funcionan los métodos de elusión
Las técnicas de ataque se basan en prompts cuidadosamente elaborados que manipulan la comprensión que tienen los modelos del contexto y los límites de seguridad. En lugar de solicitar contenido explícito directamente, los métodos utilizan lenguaje indirecto y el encuadre de escenarios para guiar a los modelos hacia la generación de material prohibido.
Los investigadores descubrieron que tanto GPT-4o como Gemini podían ser engañados para producir imágenes explícitas mediante prompts que inicialmente parecen inofensivos, pero que gradualmente desplazan la interpretación del modelo sobre el contenido aceptable. Estas técnicas funcionan porque explotan la forma en que los modelos procesan las instrucciones en lenguaje natural, en lugar de apuntar a vulnerabilidades específicas del código.
Implicaciones para el contenido generado por IA
Para los creadores que trabajan con generación de imágenes por IA, estos hallazgos subrayan el juego del gato y el ratón que existe entre los sistemas de seguridad y los usuarios que intentan eludirlos. La investigación demuestra que incluso las empresas bien financiadas con equipos dedicados a la seguridad tienen dificultades para crear filtros de contenido infalibles.
Los métodos de elusión funcionan en diferentes arquitecturas de modelos, lo que sugiere que el problema surge de desafíos fundamentales en la alineación de la IA más que de problemas específicos de implementación. Esto significa que probablemente existan vulnerabilidades similares en otros sistemas de IA, incluidos los utilizados para la generación de imágenes y la creación de contenido.
Respuesta de la industria y próximos pasos
Según Ars Technica, tanto OpenAI como Google conocen los hallazgos de la investigación y están trabajando en medidas de seguridad mejoradas. Sin embargo, las compañías no han proporcionado plazos específicos para abordar las vulnerabilidades identificadas.
La investigación pone de relieve un desafío más amplio al que se enfrentan los desarrolladores de IA: equilibrar la capacidad del modelo con las restricciones de seguridad. A medida que los modelos se vuelven más sofisticados en la comprensión de instrucciones matizadas, también se vuelven más susceptibles a intentos de manipulación sofisticados.
Para los creadores que utilizan herramientas de IA, esta investigación sirve como recordatorio de que los filtros de seguridad son imperfectos y están en constante evolución. Si bien estos sistemas generalmente funcionan según lo previsto para casos de uso legítimos, representan un área de desarrollo continuo más que problemas resueltos. Comprender estas limitaciones ayuda a adoptar mejores prácticas al trabajar con contenido generado por IA y a elegir las herramientas de IA adecuadas para diferentes proyectos creativos.
Los hallazgos también sugieren que los futuros enfoques de seguridad en IA pueden necesitar ir más allá del simple filtrado de contenido hacia una comprensión más sofisticada de la intención y el contexto del usuario. Esto podría implicar tiempos de respuesta más largos y resultados más conservadores a medida que las empresas prioricen la seguridad sobre la velocidad y la flexibilidad.
