Allen Institute의 DiScoFormer, 단일 트랜스포머에서 밀도 및 스코어 모델 통합

Allen Institute for AI가 DiScoFormer를 출시했습니다. 이는 단일 모델에서 밀도 모델링과 스코어 기반 생성을 모두 처리하는 통합 트랜스포머 아키텍처로, 현재 AI 이미지 생성에서 사용되는 복잡한 다중 모델 파이프라인을 잠재적으로 단순화할 수 있습니다.

주요 요점

• DiScoFormer는 하나의 트랜스포머 내에서 밀도 추정과 스코어 계산을 모두 처리하여 생성 워크플로우에서 별도의 전문 모델이 필요하지 않습니다 • 이 아키텍처는 다양한 데이터 분포에서 작동하여 다양한 이미지 생성 작업과 도메인에 적응할 수 있습니다 • 초기 결과에 따르면 통합 접근법은 기존 다중 모델 설정 대비 계산 오버헤드를 줄이면서 품질을 유지합니다 • 이 모델은 AI 아트 플랫폼의 추론 및 훈련을 간소화할 수 있는 통합 아키텍처로의 전환을 나타냅니다

두 가지 핵심 기능의 통합

기존 AI 이미지 생성은 밀도 추정과 스코어 계산을 위한 별도 모델에 의존합니다. 이는 노이즈에서 이미지가 생성되는 방식을 안내하는 수학적으로 구별되지만 관련된 두 프로세스입니다. DiScoFormer는 단일 트랜스포머를 훈련하여 두 작업을 동시에 처리함으로써 이러한 관례를 깨뜨립니다.

통합 아키텍처는 공유 어텐션 레이어를 통해 밀도 및 스코어 함수를 처리하여 모델이 별도 모델로는 포착할 수 없는 이러한 함수 간의 관계를 학습할 수 있게 합니다. 이러한 설계 선택은 여러 전문 모델을 유지하는 것이 메모리 사용량과 계산 비용을 증가시키는 생성 AI 파이프라인의 오랜 비효율성을 해결합니다.

교차 분포 성능

Hugging Face Blog에 따르면, DiScoFormer는 자연 이미지부터 합성 데이터셋까지 다양한 데이터 분포에서 일관된 성능을 보여줍니다. 이러한 유연성은 다양한 시각적 스타일로 작업하거나 특정 예술적 도메인에서 맞춤 모델을 훈련하는 크리에이터에게 중요합니다.

기본 데이터 분포에 따라 밀도 및 스코어 계산을 적응시키는 모델의 능력은 프로덕션 워크플로우에서 여러 전문 모델을 잠재적으로 대체할 수 있음을 의미합니다. 대규모로 추론을 실행하는 플랫폼의 경우, 이러한 통합은 상당한 비용 절감과 더 빠른 생성 시간으로 이어질 수 있습니다.

생성 워크플로우에 대한 시사점

통합 접근법은 AI 이미지 생성 플랫폼이 시스템을 설계하는 방식을 재편할 수 있습니다. 현재 설정은 종종 밀도 모델, 스코어 네트워크, 샘플링 알고리즘 간의 신중한 조율이 필요하며, 각각 고유한 메모리 풋프린트와 계산 요구사항을 가집니다.

DiScoFormer의 단일 모델 설계는 이러한 아키텍처를 단순화하여 새로운 생성 기능을 배포하는 엔지니어링 복잡성을 잠재적으로 줄입니다. 크리에이터에게는 다양한 생성 기법을 실험하거나 자신의 작품에 맞춤 모델을 훈련할 때 더 빠른 반복 주기를 의미할 수 있습니다.

연구는 또한 통합 아키텍처가 밀도와 스코어 계산 간의 긴밀한 결합을 활용하는 새로운 생성 기법을 열 수 있음을 시사합니다. 이는 격리된 훈련 프로세스로 인해 별도 모델로는 달성할 수 없는 기능입니다.

기술적 아키텍처 세부사항

트랜스포머는 동일한 어텐션 메커니즘을 통해 밀도 쿼리와 스코어 요청을 모두 처리하며, 전문화된 출력 헤드를 사용하여 두 작업을 구별합니다. 이러한 공유 처리를 통해 모델은 두 기능을 효과적으로 제공하는 내부 표현을 개발할 수 있습니다.

Allen Institute의 구현은 이러한 통합 접근법이 편의성을 위해 품질을 희생하지 않음을 보여줍니다. 단일 모델이 더 적은 총 매개변수를 사용하면서도 동등한 별도 모델의 성능과 일치하거나 이를 초과합니다.

이 연구는 다른 생성 AI 구성 요소들도 유사하게 통합될 수 있는지에 대한 질문을 제기하며, 이미지, 비디오, 멀티모달 생성 작업을 위한 더욱 간소화된 아키텍처로 이어질 가능성이 있습니다.