Des chercheurs de l'Université de Californie à Santa Cruz ont fait une percée en créant un modèle de langage étendu (LLM) fonctionnant sur du matériel personnalisé qui ne consomme que 13 watts, ce qui équivaut à une ampoule LED moderne. Les chercheurs affirment que ce nouveau LLM est 50 fois plus efficace que les autres LLM fonctionnant sur du matériel traditionnel et qu'il est capable de rivaliser avec des modèles établis tels que Meta's Llama.
Les réseaux de neurones modernes utilisent la multiplication matricielle, une technique dans laquelle les mots sont représentés par des nombres et stockés dans des matrices, qui sont ensuite multipliées les unes avec les autres pour créer un langage. Ce processus consomme beaucoup d'énergie car les données doivent être stockées puis déplacées entre les GPU ou d'autres accélérateurs pour que la multiplication ait lieu. L’équipe s’est concentrée sur cette partie des LLM pour ses recherches.
Advertisement
Pour s'éloigner de la multiplication matricielle, les chercheurs ont opté pour que les matrices utilisent des nombres ternaires qui permettent de passer à la sommation des nombres. Il s'appuie sur le travail effectué par Microsoft, qui a montré que cette méthode est possible, même si l'entreprise n'a pas rendu ses modèles open source. L'auteur principal, Jason Eshraghian, affirme que « du point de vue d'un concepteur de circuits, vous n'avez pas besoin des frais généraux de multiplication, qui entraînent des coûts considérables ».
Les autres gains d'efficacité proviennent de l'exécution du LLM sur du matériel personnalisé avec des réseaux de portes programmables sur site (FPGA). Les chercheurs pensent qu’ils peuvent obtenir encore plus d’efficacité en continuant à optimiser ces technologies.
C'est toujours excitant de voir percées comme celui-ci, d’autant plus que la demande en IA continue de croître. Espérons que les grands acteurs du secteur jetteront un œil à ce LLM et glaneront des informations susceptibles d’améliorer l’efficacité à long terme.