Hugging Face와 Liquid AI, 전문 멀티모달 AI를 위한 새로운 파운데이션 모델 LFM3 출시

Hugging Face와 Liquid AI가 이미지 분석 및 콘텐츠 조정과 같은 작업을 위한 고도로 전문화된 AI 개발을 간소화하도록 설계된 새로운 멀티모달 파운데이션 모델 LFM3을 출시했습니다. 이 릴리스는 AI 아티스트와 개발자에게 틈새 애플리케이션에 맞게 AI를 미세 조정할 수 있는 보다 효율적인 경로를 제공하여 방대한 맞춤형 데이터 세트의 필요성을 잠재적으로 줄여줍니다.

주요 내용

• LFM3은 Liquid AI가 개발하고 Hugging Face에 출시한 새로운 멀티모달 파운데이션 모델로, 전문 AI 애플리케이션을 위해 설계되었습니다.
• Liquid Vision Transformer(LViT) 및 Liquid Language Model(LLM)을 포함하는 아키텍처는 특정 도메인에 효율적으로 적응할 수 있도록 합니다.
• 이 모델은 크리에이터가 광범위한 맞춤형 데이터 없이도 이미지에서 특정 개체를 식별하거나 미묘한 콘텐츠를 필터링하는 것과 같은 작업을 위한 타겟 솔루션을 개발하는 데 도움이 됩니다.
• LFM3의 미세 조정 효율성은 크리에이터가 맞춤형 AI 도구를 구축하는 데 필요한 컴퓨팅 리소스와 시간을 크게 줄일 수 있습니다.

"Liquid Foundation Model for Multimodal tasks"의 약자인 LFM3은 비전 및 언어 구성 요소를 모두 통합하여 다양한 모달리티에 걸쳐 콘텐츠를 이해하고 생성합니다. 범용 모델과 달리 LFM3은 적응성에 중점을 두어 크리에이터가 특정 시각 또는 텍스트 인식 작업에 맞게 기능을 더 쉽게 조정할 수 있도록 구축되었습니다. AI 아티스트의 경우, 이는 고유한 스타일 또는 개체 감지 요구 사항을 위해 방대한 특정 데이터 세트를 큐레이션하는 데 드는 시간을 줄이고 창의적인 결과물 자체에 더 많은 시간을 할애할 수 있음을 의미합니다.

전문 AI 개발 간소화

크리에이터를 위한 LFM3 유용성의 핵심은 아키텍처에 있습니다. Liquid Vision Transformer(LViT)는 이미지 처리를 담당하고 Liquid Language Model(LLM)은 텍스트 이해를 관리합니다. 이 둘은 교차 모달 추론을 가능하게 하는 "Liquid Transformer"에 의해 융합됩니다. 이 설계는 모델이 비교적 작고 도메인별 데이터 세트로 미세 조정될 수 있도록 합니다. 이는 효과적인 전문화를 위해 종종 방대한 양의 데이터를 필요로 했던 이전 방법과는 크게 다른 점입니다. 예를 들어, 수백 개의 생성된 이미지에서 매우 특정 유형의 판타지 생물을 인식하는 AI를 구축하는 경우, LFM3은 더 일반화된 모델보다 더 적은 예시로 해당 구분을 훨씬 빠르게 학습할 수 있습니다.

Liquid AI의 접근 방식은 제한된 데이터에서 효율적으로 학습할 수 있는 모델에 중점을 둡니다. 이는 때때로 "소수 학습(few-shot learning)"이라고 불리는 개념입니다. 이러한 효율성은 처음부터 대규모 모델을 훈련할 리소스가 부족할 수 있는 독립 크리에이터 및 소규모 스튜디오에 매우 중요합니다. 모델의 훈련 후 프로세스는 또한 정렬 및 안전에 중점을 두어 원치 않는 출력을 줄이는 것을 목표로 합니다. 이는 생성형 AI 작업 시 흔히 발생하는 문제입니다. Hugging Face 블로그에서 기능 및 아키텍처 데모를 살펴볼 수 있습니다.

AI 아티스트를 위한 실질적인 의미

크리에이터에게 LFM3은 고도로 맞춤화된 도구를 구축할 수 있는 새로운 가능성을 열어줍니다. 미묘한 스타일 요소에 따라 이미지를 자동으로 태그해야 하는 아티스트나 매우 구체적인 시각적 단서에 대해 사용자 생성 콘텐츠를 필터링하려는 조정자를 상상해 보세요. LFM3을 사용하면 이러한 작업을 더 높은 정밀도와 더 적은 오버헤드로 수행하도록 모델을 훈련할 수 있습니다. 이는 이미지를 생성하고 수동 태그 지정 또는 광범위한 키워드 검색에만 의존하는 대신 특정 콘텐츠를 기반으로 이미지를 정렬하는 자동화된 시스템이 필요한 워크플로에 통합될 수 있습니다.

이는 프롬프트 엔지니어링으로도 확장됩니다. LFM3은 직접적인 이미지 생성기는 아니지만, 미묘한 시각적 및 텍스트 관계를 이해하는 능력은 이를 기반으로 구축된 도구가 프롬프트에 대해 더 지능적인 피드백 또는 필터링을 제공할 수 있음을 의미합니다. 예를 들어, LFM3으로 구축된 맞춤형 AI는 생성된 이미지를 분석하고 특정 시각적 특성을 더 잘 달성하기 위해 프롬프트를 개선하기 위한 제안을 제공하여 출력에 대한 제어를 향상시킬 수 있습니다. 이러한 수준의 세부적인 제어는 AI 아트 생성의 경계를 넓히려는 크리에이터에게 매우 중요할 수 있습니다.

앞으로의 전망

LFM3의 출시는 보다 적응성이 뛰어나고 리소스 효율적인 AI 모델을 향한 성장 추세를 강조합니다. 파운데이션 모델이 더욱 전문화되고 접근 가능해짐에 따라 맞춤형 AI 솔루션 개발의 진입 장벽은 계속 낮아지고 있습니다. 이는 제한된 기술 배경이나 컴퓨팅 리소스를 가진 크리에이터도 고유한 프로젝트를 위해 고급 AI를 더 쉽게 활용할 수 있음을 의미합니다. Hugging Face에서 모델을 사용할 수 있으므로 실험 및 통합에 쉽게 접근할 수 있어 개발자가 구축을 시작할 수 있습니다. 이는 강력한 AI 도구를 일상적인 창의적 워크플로에 더 실용적으로 만들고, 자체 프로젝트 내에서 더 지능적인 콘텐츠 파이프라인과 정교한 이미지 분석을 위한 경로를 제공하는 광범위한 산업 변화와 일치합니다. 이러한 모델의 기본 원리를 이해하는 데 관심이 있는 분들을 위해 Charmloop은 다양한 AI 개념에 대한 가이드도 제공합니다.