Theo zamienia newsy o AI w rzeczy, które wypróbujesz jeszcze dziś wieczorem.
Otrzymuj na maila najważniejsze historie tygodnia o AI i sztuce AI — wyselekcjonowane, zwięzłe, za darmo.
Za darmo. Wypisz się w każdej chwili.
Wybierz towarzysza i poznaj jego zdanie na temat tej historii
Rekurencyjne samodoskonalenie AI — idea, że systemy AI wkrótce będą przepisywać własny kod, generować własne dane treningowe i iterować w kierunku superinteligencji przy niewielkim wkładzie człowieka — napotyka trudniejsze bariery niż przewidywały najśmielsze prognozy, zgodnie z MIT Technology Review.
Obietnica brzmi czysto na papierze: AI pisze lepsze dane treningowe, trenuje lepszą wersję siebie, która pisze jeszcze lepsze dane treningowe i tak dalej. W praktyce sprzężenie zwrotne jest zaszumione. Dane syntetyczne generowane przez model mają tendencję do dziedziczenia ślepych punktów tego modelu, a kod napisany przez AI w celu optymalizacji siebie może wprowadzać subtelne błędy, które ujawniają się dopiero po kilku iteracjach. Analiza MIT Technology Review opisuje ten problem kumulujących się błędów jako jedną z głównych przeszkód, których badacze nie rozwiązali.
To nie znaczy, że nic się nie dzieje. LLM-y już przyczyniają się do przepływów pracy projektowania chipów i generują zestawy treningowe używane w rurociągach produkcyjnych. Ale te wkłady są nadzorowane — ludzie nadal są w pętli na każdym etapie, gdzie błąd miałby znaczenie. Całkowicie autonomiczne rekurencyjne doskonalenie, gdzie AI wychwytuje i koryguje własne błędy bez ludzkiego punktu kontrolnego, pozostaje problemem badawczym, a nie funkcją do wysyłki.
Pętla rekurencyjnego samodoskonalenia: obiecująca w teorii, krucha w praktyce.
Dla artysty postaci renderującego pakiet scen wsadowo lub projektanta koncepcyjnego promptującego setki wariantów dziennie, praktyczne pytanie jest prostsze: kiedy modele stają się znacząco lepsze i jak szybko? Teza rekurencyjnego doskonalenia, gdyby się sprawdziła, oznaczałaby eksplozywne skoki możliwości — nowe modele, które czułyby się jakościowo różne z miesiąca na miesiąc.
Bardziej prawdopodobna trajektoria, biorąc pod uwagę te ustalenia, jest przyrostowa: ulepszenia architektoniczne, lepsze dane do fine-tuningu (nadal kuratorowane przez ludzi) i inteligentniejsze optymalizacje wnioskowania. To nadal prawdziwy postęp — różnica jakości między dzisiejszymi generatorami obrazów a tymi sprzed 18 miesięcy jest widoczna dla każdego, kto ich używa — ale to inny rodzaj postępu niż nieciągły skok opisywany przez niektórych prognostyków.
Dla twórców decydujących, w które modele zainwestować czas na naukę, to faktycznie upraszcza kalkulację. Nie ścigasz się z systemem, który może się wymyślić na nowo w następnym kwartale. Katalog modeli, z którego dziś pracujesz, będzie ewoluować, ale nie z dnia na dzień. Umiejętności zbudowane wokół obecnych narzędzi — opanowanie konkretnego rurociągu stylu, nauka sterowania określoną architekturą za pomocą precyzyjnego promptowania — zachowują swoją wartość dłużej, niż sugerował cykl szumu medialnego.
To również kładzie większy nacisk na ekosystem otwartych wag. Jeśli zamknięte laboratoria graniczne nie zamierzają odblokować rekurencyjnego samodoskonalenia w najbliższym czasie, przewaga konkurencyjna przesuwa się z powrotem do zespołów wykonujących ostrożny, nadzorowany przez ludzi fine-tuning i publikujących wagi publicznie. Półroczny raport Hugging Face o otwartych modelach udokumentował dokładnie ten trend — otwarte modele zmniejszające lukę jakościową szybciej niż oczekiwano — a analiza MIT daje tej trajektorii więcej przestrzeni niż pozwoliłaby narracja rekurencyjnego doskonalenia.
Jest druga przeszkoda, którą ujawnia analiza MIT: nawet gdy kod napisany przez AI lub dane syntetyczne są dobre, badacze są ostrożni w kwestii wprowadzania ich z powrotem do treningu bez ciężkiej walidacji. Ta ostrożność jest częściowo techniczna, a częściowo instytucjonalna. Laboratoria, które spędziły lata budując procesy przeglądu bezpieczeństwa, nie zamierzają ich omijać, ponieważ model twierdzi, że jego własne wyjście jest czyste.
Dla twórców to tarcie instytucjonalne jest po cichu użyteczne. Oznacza to, że modele, których używasz, miały ludzi w pętli na etapach, które mają największe znaczenie — co jest częścią tego, dlaczego przewodniki na /learn dotyczące promptowania i przepływu pracy nadal się sprawdzają: podstawowe zachowanie modelu jest wystarczająco stabilne, aby budować wokół niego niezawodne techniki, i pozostanie takie dłużej, niż sugerował szum wokół samodoskonalenia.