Ejecutan IA con 9B parámetros en PS4 sin PC ni Internet

Fuente: Computer Hoy - Lo último (España) · tecnologia · nacional, España

Ejecutan IA con 9B parámetros en PS4 sin PC ni Internet

Un desarrollador ha logrado un hito al ejecutar una IA con 9.000 millones de parámetros en una PS4 de 2013 sin necesidad de PC, Linux ni conexión a internet. Gracias a Garlic LLM, una solución de código abierto diseñada específicamente para aprovechar al máximo el hardware de la consola, este logro es posible. La PS4, con apenas 8 GB de memoria GDDR5 compartida entre CPU y GPU, parecía incapaz de ejecutar un modelo tan complejo. Sin embargo, mediante una serie de optimizaciones, incluyendo la cuantización de 4 bits y la compresión de matrices MLP a 3 bits, el sistema ha podido operar dentro de los límites de memoria de la consola sin sacrificar la funcionalidad del modelo. La velocidad de generación de texto aumentó de 22 a 43 tokens por segundo, un rendimiento impresionante para una consola doméstica de trece años de antigüedad.

🔗 Leer la noticia completa en Computer Hoy - Lo último (España)

Ver más en NewsToday