Wybierz towarzysza i poznaj jego zdanie na temat tej historii
Powiązane artykuły
Hugging Face oficjalnie wydało AnyLanguageModel (ALM) 1.0, nowy framework zaprojektowany do optymalizacji setek modeli AI pod kątem wydajnego lokalnego wykonywania na komputerach Mac i iPhone'ach z procesorami Apple Silicon. Ta aktualizacja oznacza, że twórcy mogą teraz uruchamiać złożone modele bezpośrednio na swoich urządzeniach, zyskując znaczną szybkość, prywatność i możliwość pracy offline bez polegania na usługach chmurowych.
Kluczowe wnioski
AnyLanguageModel (ALM) 1.0 to nowy framework od Hugging Face, który umożliwia wydajne i lokalne uruchamianie ponad 100 modeli AI na urządzeniach Apple Silicon.
Ta aktualizacja pozwala twórcom sztuki AI wykonywać zadania takie jak generowanie obrazów, przetwarzanie tekstu i uzupełnianie kodu bezpośrednio na swoich komputerach Mac i iPhone'ach.
Lokalne wykonywanie oferuje korzyści, takie jak szybsze przetwarzanie, zwiększona prywatność danych i możliwość pracy offline bez połączenia z internetem.
ALM 1.0 obsługuje różne typy modeli, w tym duże modele językowe (LLM) i modele dyfuzyjne, z zoptymalizowaną wydajnością dla silnika neuronowego Apple.
Dla wielu twórców sztuki AI, przejście na lokalne wykonywanie rozwiązuje kluczowy problem: opóźnienia i koszty. Uruchamianie modeli w chmurze oznacza czekanie na wywołania API i płacenie za token lub za generację. Dzięki ALM 1.0, twórca pracujący nad szczegółowym projektem generowania obrazów może iterować znacznie szybciej, dostosowując podpowiedzi i widząc wyniki niemal natychmiast na swoim Macu. Jest to szczególnie przydatne w przypadku zadań wymagających wielu drobnych korekt, takich jak dopracowywanie wyrazu twarzy postaci lub szczegółu środowiska. Framework wykorzystuje narzędzia Core ML firmy Apple, zapewniając, że modele w pełni wykorzystują silnik neuronowy w chipach serii M dla maksymalnej wydajności. Jest to znaczący krok w kierunku uczynienia potężnych narzędzi AI bardziej dostępnymi i zintegrowanymi z codziennymi przepływami pracy twórczej.
Przyspieszone przepływy pracy na sprzęcie Apple
ALM 1.0 dostarcza wstępnie skwantyzowane wersje popularnych modeli, co zmniejsza ich zużycie pamięci i przyspiesza wnioskowanie. Na przykład, model Stable Diffusion, który zazwyczaj wymaga potężnego procesora graficznego w chmurze, może teraz działać na MacBooku Pro z chipem M3, generując obrazy w ciągu kilku sekund. Oznacza to, że twórcy nie muszą już przesyłać wrażliwych danych na zewnętrzne serwery, co stanowi dużą zaletę w zakresie prywatności dla tych, którzy pracują z zastrzeżonymi lub osobistymi treściami. Framework obsługuje szeroki zakres modeli, w tym duże modele językowe (LLM) do generowania tekstu, modele dyfuzyjne do tworzenia obrazów, a nawet modele uzupełniania kodu, rozszerzając zestaw narzędzi dostępnych dla użytkowników lokalnych.
Rozważmy scenariusz, w którym artysta koncepcyjny musi wygenerować wiele wariantów obiektu lub postaci. Zamiast przesyłać podpowiedzi do usługi chmurowej i czekać, może użyć modelu zoptymalizowanego pod ALM lokalnie. Pozwala to na szybkie eksperymentowanie, generowanie dziesiątek opcji w czasie, który zajęłoby kilka renderów opartych na chmurze. Możliwość pracy offline jest również kluczowa dla twórców, którzy podróżują lub mają niestabilny dostęp do internetu, zapewniając, że ich przepływ pracy nie zostanie przerwany. Hugging Face zauważa, że framework był rozwijany przez ponad rok, dopracowując jego wydajność na unikalnej architekturze sprzętowej Apple [^1].
AnyLanguageModel optymalizuje modele dla Apple Silicon, umożliwiając lokalne zadania AI.
To wydanie to nie tylko szybkość; to kontrola. Przenosząc potężne modele AI na lokalny sprzęt, ALM 1.0 umożliwia indywidualnym twórcom dostosowywanie i precyzyjne dostrajanie modeli bez złożoności i kosztów związanych z infrastrukturą chmurową. Jest to zgodne z rosnącym trendem w kierunku lokalnej AI, co widać w narzędziach takich jak ChatRTX firmy Nvidia, które również umożliwia lokalne agenty AI. Dla twórców eksplorujących niestandardowe modele lub specjalistyczne przepływy pracy, możliwość uruchamiania ich lokalnie oznacza większą swobodę eksperymentowania i zmniejszoną zależność od usług stron trzecich. Więcej o optymalizacji lokalnej konfiguracji AI można dowiedzieć się w naszych przewodnikach.
Framework obecnie obsługuje ponad sto modeli, a kolejne są regularnie dodawane. Obejmuje to modele do generowania obrazów, podsumowywania tekstu, tłumaczenia, a nawet wykrywania obiektów. Dla kogoś tworzącego zasoby wizualne, może to oznaczać użycie lokalnego modelu do generowania podstawowych obrazów, następnie innego do ich skalowania w górę, a być może trzeciego do zastosowania specyficznych transferów stylistycznych — wszystko w ich własnym środowisku. Ten zintegrowany lokalny przepływ pracy może znacznie usprawnić proces twórczy, sprawiając, że zaawansowane możliwości AI będą mniej przypominać zdalną usługę, a bardziej rozszerzenie własnej maszyny twórcy. W miarę optymalizacji kolejnych modeli, zakres zadań, które twórcy mogą wykonywać lokalnie, będzie się tylko poszerzał.
