Nuova tecnica per modelli IA senza moltiplicazione di matrici

Ricercatori dell’UC Santa Cruz, UC Davis, LuxiTech e Soochow University hanno sviluppato una nuova tecnica che consente di eseguire modelli di linguaggio IA in modo più efficiente eliminando la moltiplicazione di matrici. Questa scoperta potrebbe ridurre significativamente l’impatto ambientale e i costi operativi dei sistemi IA.

La moltiplicazione di matrici (MatMul) è al centro dei compiti computazionali della maggior parte delle reti neurali odierne. Tuttavia, in un recente studio intitolato “Scalable MatMul-free Language Modeling”, i ricercatori hanno creato un modello da 2,7 miliardi di parametri senza utilizzare MatMul, ottenendo prestazioni simili ai modelli convenzionali. Test su un modello da 1,3 miliardi di parametri hanno mostrato una velocità di 23,8 token al secondo su una GPU, accelerata da un chip FPGA che consuma circa 13 watt. Questo metodo potrebbe rendere i modelli di linguaggio più accessibili e sostenibili, soprattutto per hardware a risorse limitate come gli smartphone.