UC Santa Cruz의 연구원들은 현대 LED 전구에 해당하는 13W만 소비하는 맞춤형 하드웨어에서 실행되는 LLM(대형 언어 모델)을 만들어 획기적인 발전을 이루었습니다. 연구원들은 이 새로운 LLM이 기존 하드웨어에서 실행되는 다른 LLM보다 50배 더 효율적이며 Meta의 Llama와 같은 기존 모델과 경쟁할 수 있다고 말합니다.
현대 신경망은 단어를 숫자로 표현하고 행렬에 저장한 다음 이를 서로 곱하여 언어를 만드는 기술인 행렬 곱셈을 사용합니다. 이 프로세스는 데이터를 저장한 다음 곱셈이 일어나기 위해 GPU나 다른 가속기 사이를 이동해야 하므로 많은 에너지를 사용합니다. 팀은 연구를 위해 LLM의 이 부분에 초점을 맞췄습니다.
Advertisement
행렬 곱셈에서 벗어나기 위해 연구자들은 행렬이 숫자 합산으로 전환할 수 있는 삼항 숫자를 사용하도록 전환했습니다. 비록 회사가 모델을 오픈 소스로 공개하지는 않았지만 이 방법이 가능하다는 것을 보여준 Microsoft의 작업을 기반으로 구축되었습니다. 수석 저자인 Jason Esraghian은 “회로 설계자의 관점에서 볼 때 엄청난 비용을 수반하는 곱셈의 오버헤드가 필요하지 않습니다”라고 말합니다.
또 다른 효율성 향상은 FPGA(Field Programmable Gate Array)를 갖춘 맞춤형 하드웨어에서 LLM을 실행함으로써 얻을 수 있습니다. 연구원들은 이러한 기술을 계속해서 최적화함으로써 효율성을 더욱 높일 수 있다고 믿습니다.
볼수록 늘 흥미롭다 획기적인 특히 AI에 대한 수요가 계속 증가하고 있기 때문에 이와 같은 것입니다. 이 분야의 거물들이 이 LLM을 살펴보고 장기적으로 효율성을 개선할 수 있는 정보를 얻기를 바랍니다.