OpenAI propone un’architettura di trasformatore sparso che utilizza fattorizzazioni sparse per ridurre il tempo e l’utilizzo della memoria.
Punti chiave: Trasformatore sparso, OpenAI, fattorizzazione sparsa, riduzione del tempo e della memoria, architettura del trasformatore ristrutturata, blocco residuo ristrutturato, inizializzazione dei pesi, kernel di attenzione sparsi, schemi di attenzione sparsi, fattorizzazione bidimensionale.