Un desarrollador ha logrado un hito al ejecutar una IA con 9.000 millones de parámetros en una PS4 de 2013 sin necesidad de PC, Linux ni conexión a internet. Gracias a Garlic LLM, una solución de código abierto diseñada específicamente para aprovechar al máximo el hardware de la consola, este logro es posible. La PS4, con apenas 8 GB de memoria GDDR5 compartida entre CPU y GPU, parecía incapaz de ejecutar un modelo tan complejo. Sin embargo, mediante una serie de optimizaciones, incluyendo la cuantización de 4 bits y la compresión de matrices MLP a 3 bits, el sistema ha podido operar dentro de los límites de memoria de la consola sin sacrificar la funcionalidad del modelo. La velocidad de generación de texto aumentó de 22 a 43 tokens por segundo, un rendimiento impresionante para una consola doméstica de trece años de antigüedad.
🔗 Leer la noticia completa en Computer Hoy - Lo último (España)
Ver más en NewsToday