Nick Cammarata, badacz w startupie AI Goodfire, wywołał debatę w społeczności AI 26 000-słowowym wpisem na blogu, w którym twierdzi, że sieci neuronowe mogą wymagać znacznie mniej danych treningowych, niż powszechnie się uważa, co może prowadzić do bardziej wydajnych i dostępnych modeli AI dla twórców.
Kluczowe wnioski
- Wpis na blogu badacza Goodfire, Nicka Cammaraty, twierdzi, że modele AI są przetrenowane, sugerując, że do efektywnego działania potrzeba znacznie mniej danych.
- Teoria implikuje, że przyszłe modele AI mogłyby być mniejsze, tańsze w trenowaniu i potencjalnie działać na mniej wydajnym sprzęcie.
- Zmniejszone wymagania dotyczące danych mogłyby obniżyć barierę wejścia dla dostrajania i rozwijania niszowych modeli sztuki AI.
- Hipoteza, choć jeszcze nie poddana recenzji, kwestionuje podstawowe założenia dotyczące praw skalowania dużych modeli językowych (LLM).
Główny argument Cammaraty, szczegółowo opisany w jego poście zatytułowanym „Myślę, że mam dobre wieści na temat natury sieci neuronowych”, zakłada, że obecne metodologie treningu dużych modeli są nieefektywne. Sugeruje on, że modele AI osiągają optymalną wydajność przy ułamku danych, które są im obecnie dostarczane, a duża część dodatkowego treningu jest zbędna. Dla twórców sztuki AI może to bezpośrednio przełożyć się na bardziej zwinne modele, które są szybsze w iteracji i potencjalnie tańsze w obsłudze, otwierając nowe możliwości dla niestandardowych stylów i specjalistycznego generowania treści bez ogromnych nakładów obliczeniowych.
Hipoteza przetrenowania i jej wpływ na sztukę AI
Powszechna mądrość w rozwoju AI, często kierowana przez ustalone prawa skalowania, głosiła, że więcej danych zazwyczaj prowadzi do lepszych modeli. Przeciwintuicyjne odkrycie Cammaraty sugeruje, że może to nie być uniwersalnie prawdziwe, a przynajmniej że krzywa wydajności spłaszcza się znacznie wcześniej, niż przewidywano. Jeśli jego hipoteza się potwierdzi, fundamentalnie przedefiniuje to nasze podejście do architektury modeli i treningu, potencjalnie przesuwając nacisk z samej objętości danych na jakość danych i bardziej wyrafinowane techniki treningowe. Może to być szczególnie istotne dla niszowych stylów sztuki AI lub specyficznych projektów postaci, gdzie pozyskanie ogromnych, zróżnicowanych zbiorów danych może stanowić wąskie gardło. Wyobraźmy sobie trenowanie wysoce wyspecjalizowanego modelu dla unikalnej estetyki za pomocą zaledwie kilku tysięcy starannie dobranych obrazów, zamiast milionów.
„Patrzyliśmy na to źle.”
— Nick Cammarata
Ta ponowna ocena wymagań dotyczących danych mogłaby bezpośrednio wpłynąć na ekonomię rozwoju modeli AI. Mniejsze, bardziej efektywnie trenowane modele wymagałyby mniej mocy obliczeniowej, zmniejszając zarówno koszty finansowe, jak i ślad środowiskowy tworzenia AI. Dla platform takich jak Charmloop, mogłoby to oznaczać szybsze wdrażanie modeli i bardziej zróżnicowane opcje w katalogu modeli Charmloop, ponieważ deweloperzy mogliby wprowadzać nowe koncepcje na rynek bez konieczności zabezpieczania zasobów na skalę superkomputerów. Podnosi to również perspektywę uruchamiania bardziej zaawansowanych modeli lokalnie na sprzęcie konsumenckim, zwiększając kontrolę twórczą i prywatność dla indywidualnych artystów.
Implikacje dla promptowania i wyboru modelu
Obecnie wiele generatorów sztuki AI korzysta z modeli trenowanych na kolosalnych zbiorach danych, co pozwala im interpretować złożone prompty i generować szeroki wachlarz stylów. Jeśli Cammarata ma rację, przyszłe modele mogą osiągnąć podobną, a nawet lepszą jakość wyjściową przy znacznie mniejszej ilości danych treningowych, pod warunkiem, że dane te są optymalnie wybrane. Może to usprawnić proces promptowania, czyniąc modele bardziej wrażliwymi na konkretne instrukcje, ponieważ nie byłyby „rozcieńczone” przez przytłaczającą objętość mniej istotnych informacji. Twórcy mogą odkryć, że bardzo specyficzne prompty dają bardziej precyzyjne wyniki, zmniejszając potrzebę obszernego inżynierii promptów, aby prowadzić model przez morze uogólnionych danych treningowych.
Chociaż twierdzenia Cammaraty są obecnie teoretyczne i nie zostały jeszcze poddane formalnej recenzji, wywołały one znaczną dyskusję w społeczności badawczej AI. Jeśli te odkrycia zostaną potwierdzone, mogą zapoczątkować nową erę rozwoju modeli AI, skoncentrowaną na wydajności i ukierunkowanym treningu, fundamentalnie zmieniając krajobraz tworzenia sztuki AI. Zmiana ta mogłaby umożliwić mniejszym zespołom i indywidualnym twórcom opracowywanie wysoce wyspecjalizowanych narzędzi, wykraczając poza obecne poleganie na modelach trenowanych przez garstkę dużych korporacji. Może to doprowadzić do eksplozji innowacji w niestandardowej sztuce AI, oferując twórcom bezprecedensową kontrolę nad ich cyfrowymi wynikami i otwierając nowe możliwości ekspresji artystycznej. Ta zmiana paradygmatu mogłaby również uczynić zaawansowane możliwości AI bardziej dostępnymi, potencjalnie obniżając koszty wysokiej jakości generowania obrazów i tworzenia postaci dla szerszej publiczności.
