Naukowcy z Uniwersytetu Kalifornijskiego w Santa Cruz dokonali przełomu, tworząc model dużego języka (LLM) działający na niestandardowym sprzęcie, który pobiera zaledwie 13 watów, co odpowiada nowoczesnej żarówce LED. Naukowcy twierdzą, że ten nowy LLM jest 50 razy bardziej wydajny niż inne LLM działające na tradycyjnym sprzęcie i jest w stanie konkurować z uznanymi modelami, takimi jak Lama firmy Meta.
Nowoczesne sieci neuronowe wykorzystują mnożenie macierzy, czyli technikę, w której słowa są reprezentowane przez liczby i przechowywane w macierzach, które następnie są mnożone przez siebie w celu utworzenia języka. Proces ten zużywa dużo energii, ponieważ dane muszą być przechowywane, a następnie przesyłane pomiędzy procesorami graficznymi lub innymi akceleratorami, aby nastąpiło zwielokrotnienie. W swoich badaniach zespół skupił się na tej części LLM.
Advertisement
Aby odejść od mnożenia macierzy, badacze zaczęli używać w macierzach liczb trójskładnikowych, co umożliwiło zamiast tego przejście na sumowanie liczb. Opiera się na pracy wykonanej przez Microsoft, który pokazał, że ta metoda jest możliwa, chociaż firma nie udostępniła swoich modeli na zasadach open source. Główny autor Jason Eshraghian mówi, że „z punktu widzenia projektanta obwodów nie jest konieczne narzut związany z mnożeniem, które wiąże się z ogromnymi kosztami”.
Pozostałe korzyści w zakresie wydajności wynikają z uruchomienia LLM na niestandardowym sprzęcie z programowalnymi przez użytkownika tablicami bramek (FPGA). Naukowcy uważają, że mogą wycisnąć jeszcze większą wydajność, kontynuując optymalizację tych technologii.
To zawsze ekscytujące widzieć przełomy takich jak ten, zwłaszcza że zapotrzebowanie na sztuczną inteligencję stale rośnie. Mamy nadzieję, że duzi gracze w branży przyjrzą się temu LLM i zdobędą informacje, które mogą poprawić wydajność w dłuższej perspektywie.