Goodfire 연구원, 신경망에 '생각보다 적은 훈련 데이터' 필요하다고 주장

AI 스타트업 Goodfire의 연구원 닉 카마라타가 신경망이 널리 알려진 것보다 훨씬 적은 훈련 데이터를 필요로 할 수 있다는 26,000단어 분량의 블로그 게시물로 AI 커뮤니티에 논쟁을 불러일으켰습니다. 이 주장은 크리에이터를 위한 더 효율적이고 접근하기 쉬운 AI 모델로 이어질 수 있습니다.

주요 내용

• Goodfire 연구원 닉 카마라타의 블로그 게시물은 AI 모델이 과도하게 훈련되었다고 주장하며, 효과적인 성능을 위해 훨씬 적은 데이터가 필요하다고 제안합니다.
• 이 이론은 미래 AI 모델이 더 작고, 훈련 비용이 저렴하며, 잠재적으로 덜 강력한 하드웨어에서도 실행될 수 있음을 의미합니다.
• 데이터 요구 사항 감소는 미세 조정 및 틈새 AI 아트 모델 개발에 대한 진입 장벽을 낮출 수 있습니다.
• 이 가설은 아직 동료 검토를 거치지 않았지만, 대규모 언어 모델(LLM) 스케일링 법칙에 대한 근본적인 가정에 도전합니다.

카마라타의 핵심 주장은 「신경망의 본질에 대한 좋은 소식이 있다고 생각합니다」라는 제목의 게시물에 자세히 설명되어 있으며, 대규모 모델에 대한 현재 훈련 방법론이 비효율적이라고 주장합니다. 그는 AI 모델이 현재 공급되는 데이터의 일부만으로 최적의 성능에 도달하며, 추가 훈련의 상당 부분이 중복된다고 제안합니다. AI 아트 크리에이터의 경우, 이는 더 민첩한 모델로 직접 이어져 반복 작업이 더 빠르고 운영 비용이 잠재적으로 저렴해지며, 막대한 컴퓨팅 오버헤드 없이 맞춤형 스타일과 전문화된 콘텐츠 생성을 위한 새로운 가능성을 열어줄 수 있습니다.

과적합 가설과 AI 아트에 미치는 영향

AI 개발의 일반적인 통념은 종종 확립된 스케일링 법칙에 따라 더 많은 데이터가 일반적으로 더 나은 모델로 이어진다는 것이었습니다. 카마라타의 직관에 반하는 발견은 이것이 보편적으로 사실이 아닐 수도 있거나, 적어도 효율성 곡선이 예상보다 훨씬 일찍 평탄해진다는 것을 시사합니다. 그의 가설이 유효하다면, 이는 모델 아키텍처 및 훈련에 접근하는 방식을 근본적으로 재정의하여 단순히 데이터 양에서 데이터 품질 및 더 정교한 훈련 기술로 초점을 옮길 수 있습니다. 이는 방대하고 다양한 데이터 세트를 확보하는 것이 병목 현상이 될 수 있는 틈새 AI 아트 스타일이나 특정 캐릭터 디자인에 특히 큰 영향을 미칠 수 있습니다. 수백만 개가 아닌 수천 개의 신중하게 선별된 이미지로 독특한 미학을 위한 고도로 전문화된 모델을 훈련하는 것을 상상해 보십시오.

「우리는 그것을 잘못 보고 있었습니다.」

— Nick Cammarata

데이터 요구 사항에 대한 이러한 재평가는 AI 모델 개발의 경제성에 직접적인 영향을 미칠 수 있습니다. 더 작고 효율적으로 훈련된 모델은 더 적은 컴퓨팅 파워를 요구하여 AI 생성의 재정적 비용과 환경 발자국을 모두 줄일 수 있습니다. Charmloop와 같은 플랫폼의 경우, 개발자가 슈퍼컴퓨터 규모의 리소스를 확보할 필요 없이 새로운 개념을 시장에 출시할 수 있으므로 더 빠른 모델 배포와 Charmloop 모델 카탈로그에서 더 다양한 옵션을 의미할 수 있습니다. 또한 개별 아티스트의 창의적 제어 및 개인 정보 보호를 강화하여 소비자 하드웨어에서 더 유능한 모델을 로컬로 실행할 가능성을 높입니다.

프롬프트 및 모델 선택에 대한 시사점

현재 많은 AI 아트 생성기는 방대한 데이터 세트로 훈련된 모델의 이점을 활용하여 복잡한 프롬프트를 해석하고 다양한 스타일을 생성할 수 있습니다. 카마라타의 주장이 옳다면, 미래 모델은 데이터가 최적으로 선택된다는 전제하에 훨씬 적은 훈련 데이터로 유사하거나 심지어 우수한 출력 품질을 달성할 수 있습니다. 이는 모델이 덜 관련성 있는 압도적인 양의 정보에 의해 '희석'되지 않으므로 특정 지침에 더 민감하게 반응하여 프롬프트 프로세스를 간소화할 수 있습니다. 크리에이터는 고도로 구체적인 프롬프트가 더 정확한 결과를 산출하여 일반화된 훈련 데이터의 바다를 통해 모델을 안내하기 위한 광범위한 프롬프트 엔지니어링의 필요성을 줄일 수 있음을 발견할 수 있습니다.

카마라타의 주장은 현재 이론적이며 아직 공식적인 동료 검토를 거치지 않았지만, AI 연구 커뮤니티 전반에 걸쳐 상당한 논의를 불러일으켰습니다. 이러한 발견이 검증된다면, 효율성과 목표 훈련에 초점을 맞춘 AI 모델 개발의 새로운 시대를 열어 AI 아트 생성 환경을 근본적으로 변화시킬 수 있습니다. 이러한 변화는 소규모 팀과 개별 크리에이터가 고도로 전문화된 도구를 개발할 수 있도록 지원하여 소수의 대기업이 훈련한 모델에 대한 현재의 의존도를 넘어설 수 있습니다. 이는 맞춤형 AI 아트의 혁신을 폭발적으로 증가시켜 크리에이터에게 디지털 출력에 대한 전례 없는 제어권을 제공하고 예술적 표현을 위한 새로운 길을 열어줄 수 있습니다. 이러한 패러다임 변화는 또한 고급 AI 기능을 더 쉽게 접근할 수 있도록 하여 더 많은 청중을 위해 고품질 이미지 생성 및 캐릭터 생성 비용을 잠재적으로 낮출 수 있습니다.