Otrzymuj na maila najważniejsze historie tygodnia o AI i sztuce AI — wyselekcjonowane, zwięzłe, za darmo.
Za darmo. Wypisz się w każdej chwili.
Czołowe laboratoria fizycznej AI wyczerpują zasoby użytecznych danych wideo i sięgają teraz po wielokamerowe rigi, gęste adnotacje ludzkie oraz eksperymentalne odczyty fal mózgowych (EEG), by trenować kolejną generację ucieleśnionych modeli AI — zmiana ta ujawnia, jak bardzo wymagania dotyczące danych fizycznej AI różnią się od tych stawianych modelom obrazowym i tekstowym, z których korzysta większość twórców.
Podstawowy problem, jak donosi TechCrunch, to perspektywa. Pojedyncza kamera rejestruje jedno ujęcie zadania — powiedzmy człowieka składającego pranie — ale robot uczący się tego zadania musi rozumieć czynność jednocześnie z wielu kątów, dysponując precyzyjnymi danymi przestrzennymi o położeniu każdego obiektu w trójwymiarowej przestrzeni. Standardowe wideo konsumenckie, nawet w wysokiej rozdzielczości, spłaszcza tę informację o głębi. Laboratoria wdrażają teraz wielokamerowe rigi rejestrujące i czujniki głębi, by nagrywać nawet proste czynności domowe, a następnie płacą ludzkim adnotatorom za oznaczanie każdej klatki pozycjami obiektów, pozami dłoni i etykietami czynności.
To ogromne obciążenie adnotacyjne. Badacze opisują koszt wyprodukowania jednej godziny użytecznych danych treningowych dla fizycznej AI jako o rzędy wielkości wyższy niż równoważna godzina danych tekstowych lub obrazowych. Dla porównania: modele dyfuzji stojące za narzędziami na platformach takich jak generator obrazów Charmloop były trenowane na miliardach par obraz–tekst zebranych z sieci — zasobie, który choć prawnie kwestionowany, był przynajmniej obfity. Fizyczna AI nie ma odpowiednika takiego wodospadu danych.
Bardziej spekulatywnym kierunkiem jest integracja EEG. Pomysł polega na tym, by przypiąć czujnik fal mózgowych do ludzkiego demonstratora i rejestrować jego sygnały neuronalne równolegle z wykonywanymi czynnościami fizycznymi. Hipoteza zakłada, że dane EEG kodują intencję — moment, w którym człowiek decyduje się podnieść przedmiot, zanim jego ręka się poruszy — dostarczając modelowi bogatszego sygnału niż samo przechwytywanie ruchu. Kilka laboratoriów prowadzi małe pilotaże, choć żaden czołowy model nie był jeszcze trenowany na danych EEG w dużej skali. Technika ta jest wciąż bliżej ciekawostki badawczej niż produkcyjnego potoku.
Warto ją obserwować ze względu na aspekt adnotacyjny. Jednym z trwałych problemów w trenowaniu fizycznej AI jest niejednoznaczność: gdy człowiek zatrzymuje się w połowie zadania, czy zawahał się, bo przedmiot był niezgrabny, bo zmienił zdanie, czy dlatego, że się rozproszył? Nagranie z kamery nie odpowie na to pytanie. Dane fal mózgowych, teoretycznie, mogą. Jeśli adnotacje EEG okażą się wiarygodne, mogłyby dramatycznie zmniejszyć ilość nagrań potrzebnych do wytrenowania sprawnego modelu fizycznego — ponieważ każda sekunda danych niosłaby więcej sygnału.
Dla twórców pracujących dziś z generowaniem obrazów i wideo bezpośredni praktyczny wpływ jest pośredni, ale realny. Potoki adnotacyjne budowane dla fizycznej AI — gęste, ustrukturyzowane, semantycznie bogate etykiety dołączone do danych wizualnych — to ten sam rodzaj danych strukturalnych, który sprawia, że generatywne modele wideo lepiej rozumieją przyczynowość i fizykę. Modele trenowane na bogato opatrzonych adnotacjami nagraniach ze świata fizycznego mają tendencję do generowania bardziej spójnego ruchu, bardziej wiarygodnych interakcji obiektów i mniej artefaktów w postaci unoszących się kończyn, które wciąż nękają wideo AI.
Techniki doskonalone dziś w laboratoriach fizycznej AI mają udokumentowaną historię migrowania do trenowania modeli generatywnych w ciągu kilku lat. Twórcy śledzący poradniki dotyczące promptowania dla realistycznego ruchu i spójności przestrzennej prawdopodobnie skorzystają z tych prac upstream, nie dotykając bezpośrednio żadnego zbioru danych robotycznych.
Wąskie gardło danych jest też przypomnieniem, że łatwe zyski w zakresie możliwości AI — skalowanie mocy obliczeniowej przy obfitych danych webowych — nie są nieskończone. Fizyczna AI uderza w tę ścianę jako pierwsza, ale generatywne modele obrazów i wideo nie są daleko w tyle. Laboratoria inwestujące teraz w nowatorskie zbieranie danych pozycjonują się na kolejny skok możliwości, gdziekolwiek on nastąpi.
