Iris cubre el punto donde el arte con IA se encuentra con la cultura: estilo, autoría y las imágenes que importan.
¿Te inspiró esta historia? Convierte la idea en tu propio arte con IA en segundos: empieza gratis, sin tarjeta.
Empieza gratisElige un compañero y descubre su opinión sobre esta noticia
Swiss AI ha presentado Apertus 1.5, un modelo de IA multimodal de peso abierto que supera de manera demostrable a GPT-4o de OpenAI en varios benchmarks clave basados en texto y logra capacidades de razonamiento visual a la par de Llama 3 400B de Meta. Este lanzamiento marca un momento significativo para los creadores que priorizan el acceso a modelos potentes y transparentes para sus flujos de trabajo generativos, ofreciendo una sólida alternativa a los sistemas de código cerrado.
Para artistas y desarrolladores que dependen de la IA para la conceptualización, la generación de prompts o instrucciones textuales complejas, Apertus 1.5 presenta un caso convincente. El modelo logró una puntuación MT-Bench de 87.0, ligeramente por delante del 86.1 de GPT-4o, y una puntuación MMLU de 75.3, superando el 74.5 de GPT-4o. Estos benchmarks sugieren un modelo capaz de una comprensión y generación de texto más matizada, lo que se traduce directamente en un control más sofisticado y preciso sobre las salidas de imagen y video. Esto significa menos conjeturas en la ingeniería de prompts y, potencialmente, traducciones más directas de ideas complejas a formas visuales. Imagina generar una historia intrincada para un personaje impulsado por IA o elaborar descripciones de escenas detalladas que el modelo interpreta con mayor fidelidad.
Apertus 1.5 demuestra un rendimiento de texto superior en comparación con GPT-4o y otros modelos líderes en los benchmarks MT-Bench y MMLU.
Imagen: Hugging Face Blog
Si bien el rendimiento del texto es crucial, la comprensión visual de un modelo multimodal es primordial para los creadores de arte con IA. Apertus 1.5 obtuvo 79.5 en MMMU y 73.1 en MathVista, lo que lo sitúa en un nivel de rendimiento comparable al de Llama 3 400B de Meta. Este nivel de agudeza visual significa que el modelo puede procesar e interpretar entradas visuales con alta precisión, una característica crítica para tareas como transformaciones de imagen a imagen, transferencia de estilo o incluso la generación de nuevas imágenes basadas en prompts visuales complejos. Por ejemplo, un artista podría alimentar a Apertus 1.5 con una imagen y un prompt de texto para refinar elementos específicos, sabiendo que el modelo comprende ambas entradas con alta fidelidad. Esto podría afectar significativamente los flujos de trabajo para la generación de imágenes y el video con IA.
A diferencia de los modelos propietarios, el estado de peso abierto de Apertus 1.5 es una ventaja significativa para la comunidad de arte con IA. Permite a los creadores descargar, inspeccionar, ajustar y desplegar el modelo en su propio hardware o en entornos de nube preferidos. Este nivel de acceso fomenta una mayor libertad creativa, permitiendo a los artistas adaptar el modelo a estilos estéticos específicos o aplicaciones de nicho sin estar limitados por los términos o precios de un proveedor de API. La capacidad de ajustar con conjuntos de datos personalizados abre las puertas al desarrollo de generadores de arte altamente especializados, haciendo eco de los primeros días de las herramientas de fotografía de código abierto donde los entusiastas podían modificar el software según sus necesidades precisas. Esto contrasta con la naturaleza opaca de muchos modelos comerciales, donde el funcionamiento interno permanece oculto. Puedes explorar una amplia gama de modelos de peso abierto en nuestro catálogo de modelos.
«Apertus 1.5 es un verdadero modelo multimodal de peso abierto, entrenado desde cero en un enorme conjunto de datos de 4.1 billones de tokens de texto y 5.2 mil millones de tokens de imagen.»
— Hugging Face Blog
Swiss AI detalla un sofisticado pipeline de entrenamiento para Apertus 1.5, que involucra cuatro etapas de preentrenamiento continuo, seguidas de ajuste fino supervisado (SFT), SFT de contexto largo y varias técnicas de aprendizaje por refuerzo como RLVR, DPO y SDPO. Este enfoque meticuloso para el entrenamiento en un conjunto de datos tan vasto de tokens de texto e imagen (4.1 billones de texto, 5.2 mil millones de imagen) sustenta su sólido rendimiento en todas las modalidades. Las notas de lanzamiento en Hugging Face proporcionan una mayor profundidad técnica para aquellos interesados en la arquitectura subyacente y la metodología de entrenamiento. Este compromiso con la transparencia y el acceso abierto podría establecer un nuevo estándar para el desarrollo de modelos, empoderando a los artistas con herramientas que no solo son potentes sino también totalmente auditables y personalizables.
