Iris cobre o encontro entre a arte com IA e a cultura: estilo, autoria e as imagens que importam.
Se inspirou nesta história? Transforme a ideia na sua própria arte com IA em segundos — comece de graça, sem cartão.
Começar de graçaEscolha um companheiro e veja o que ele acha dessa história
A Swiss AI revelou o Apertus 1.5, um modelo de IA multimodal de peso aberto que comprovadamente supera o GPT-4o da OpenAI em vários benchmarks importantes baseados em texto e alcança capacidades de raciocínio visual no mesmo nível do Llama 3 400B da Meta. Este lançamento marca um momento significativo para criadores que priorizam o acesso a modelos poderosos e transparentes para seus fluxos de trabalho generativos, oferecendo uma forte alternativa a sistemas de código fechado.
Para artistas e desenvolvedores que dependem da IA para conceituação, geração de prompts ou instruções textuais complexas, o Apertus 1.5 apresenta um caso convincente. O modelo alcançou uma pontuação MT-Bench de 87,0, ligeiramente à frente dos 86,1 do GPT-4o, e uma pontuação MMLU de 75,3, superando os 74,5 do GPT-4o. Esses benchmarks sugerem um modelo capaz de uma compreensão e geração de texto mais matizadas, o que se traduz diretamente em um controle mais sofisticado e preciso sobre as saídas de imagem e vídeo. Isso significa menos adivinhação na engenharia de prompts e potencialmente mais traduções diretas de ideias complexas para a forma visual. Imagine gerar uma história intrincada para um personagem alimentado por IA ou criar descrições de cenas detalhadas que o modelo interpreta com maior fidelidade.
Apertus 1.5 demonstra desempenho de texto superior em comparação com GPT-4o e outros modelos líderes nos benchmarks MT-Bench e MMLU.
Imagem: Hugging Face Blog
Embora o desempenho de texto seja crucial, a compreensão visual de um modelo multimodal é fundamental para criadores de arte de IA. O Apertus 1.5 obteve 79,5 no MMMU e 73,1 no MathVista, colocando-o em um nível de desempenho comparável ao Llama 3 400B da Meta. Esse nível de acuidade visual significa que o modelo pode processar e interpretar entradas visuais com alta precisão, um recurso crítico para tarefas como transformações de imagem para imagem, transferência de estilo ou até mesmo a geração de novas imagens com base em prompts visuais complexos. Por exemplo, um artista poderia alimentar o Apertus 1.5 com uma imagem e um prompt de texto para refinar elementos específicos, sabendo que o modelo compreende ambas as entradas com alta fidelidade. Isso poderia impactar significativamente os fluxos de trabalho para geração de imagens e vídeo de IA.
Ao contrário dos modelos proprietários, o status de peso aberto do Apertus 1.5 é uma grande vantagem para a comunidade de arte de IA. Ele permite que os criadores baixem, inspecionem, ajustem e implantem o modelo em seu próprio hardware ou ambientes de nuvem preferidos. Esse nível de acesso promove maior liberdade criativa, permitindo que os artistas adaptem o modelo a estilos estéticos específicos ou aplicações de nicho sem serem restringidos pelos termos ou preços de um provedor de API. A capacidade de ajustar com conjuntos de dados personalizados abre portas para o desenvolvimento de geradores de arte altamente especializados, ecoando os primeiros dias das ferramentas de fotografia de código aberto, onde os entusiastas podiam modificar o software para suas necessidades precisas. Isso contrasta com a natureza opaca de muitos modelos comerciais, onde o funcionamento interno permanece oculto. Você pode explorar uma ampla gama de modelos de peso aberto em nosso catálogo de modelos.
«Apertus 1.5 é um verdadeiro modelo multimodal de peso aberto, treinado do zero em um enorme conjunto de dados de 4,1 trilhões de tokens de texto e 5,2 bilhões de tokens de imagem.»
— Hugging Face Blog
A Swiss AI detalha um pipeline de treinamento sofisticado para o Apertus 1.5, envolvendo quatro estágios de pré-treinamento contínuo, seguidos por ajuste fino supervisionado (SFT), SFT de contexto longo e várias técnicas de aprendizado por reforço como RLVR, DPO e SDPO. Essa abordagem meticulosa de treinamento em um vasto conjunto de dados de tokens de texto e imagem (4,1 trilhões de texto, 5,2 bilhões de imagem) sustenta seu forte desempenho em todas as modalidades. As notas de lançamento no Hugging Face fornecem mais profundidade técnica para aqueles interessados na arquitetura subjacente e na metodologia de treinamento. Esse compromisso com a transparência e o acesso aberto pode estabelecer um novo padrão para o desenvolvimento de modelos, capacitando artistas com ferramentas que não são apenas poderosas, mas também totalmente auditáveis e personalizáveis.
