I ricercatori dell’Università della California, a Santa Cruz, hanno fatto un passo avanti creando un modello linguistico di grandi dimensioni (LLM) in esecuzione su hardware personalizzato che assorbe solo 13 watt, che è l’equivalente di una moderna lampadina a LED. I ricercatori affermano che questo nuovo LLM è 50 volte più efficiente di altri LLM eseguiti su hardware tradizionale ed è in grado di competere con modelli consolidati come Meta's Llama.
Le moderne reti neurali utilizzano la moltiplicazione di matrici, una tecnica in cui le parole sono rappresentate da numeri e memorizzate in matrici, che vengono poi moltiplicate tra loro per creare il linguaggio. Questo processo utilizza molta energia poiché i dati devono essere archiviati e quindi spostati tra GPU o altri acceleratori affinché avvenga la moltiplicazione. Il team si è concentrato su questa parte dei LLM per la propria ricerca.
Per allontanarsi dalla moltiplicazione delle matrici, i ricercatori sono passati a far sì che le matrici utilizzino numeri ternari che consentono invece di passare alla somma dei numeri. Si basa sul lavoro svolto da Microsoft, che ha dimostrato che questo metodo è possibile, sebbene l'azienda non abbia reso open source i suoi modelli. L'autore principale Jason Eshraghian afferma che “dal punto di vista del progettista di circuiti, non è necessario il sovraccarico della moltiplicazione, che comporta un sacco di costi”.
Gli altri miglioramenti in termini di efficienza derivano dall'esecuzione dell'LLM su hardware personalizzato con array di gate programmabili sul campo (FPGA). I ricercatori ritengono di poter ottenere un’efficienza ancora maggiore continuando a ottimizzare queste tecnologie.
Advertisement
E' sempre emozionante vedere innovazioni come questo, soprattutto perché la domanda di intelligenza artificiale continua a crescere. Si spera che i grandi attori del settore diano un'occhiata a questo LLM e raccolgano informazioni che possano migliorare l'efficienza a lungo termine.