IAs potentes fallan en seguimiento de estado

Fuente: OKDiario · tecnologia · nacional, España

IAs potentes fallan en seguimiento de estado

El Allen Institute for AI publicó el 3 de noviembre StateBench, una prueba sobre datos que cambian dentro de un documento largo. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna cayeron al 13 % de precisión o menos. Ocurrió en los problemas más largos del nivel más difícil. Jackson Petty, William Merrill y Ashish Sabharwal firman el informe técnico. Los tres trabajan en el Ai2, y los dos primeros figuran también en la Universidad de Nueva York y en el Toyota Technological Institute at Chicago. Según su resumen, ningún modelo preentrenado «resuelve de forma robusta ni siquiera» el tercero de los cuatro niveles. El seguimiento de estado consiste en saber cuánto vale algo tras una cadena de cambios. Puede ser una variable en un programa o un cuchillo que pasa de mano en mano en una novela policiaca. El Ai2 lo dividió en cuatro niveles comparables, con el mismo número de variables y de valores. En el primero, llamado r-trivial, el dato nunca cambia, igual que una fecha de nacimiento. Después llega el aperiódico, donde basta con encontrar el último valor. Un termostato funciona así, porque manda su ajuste más reciente. Los dos últimos obligan a arrastrar toda la historia. En el soluble cada cambio se suma al anterior, como en el marcador de un partido. En el general finito, una variable puede tomar el valor actual de otra. Para explicarlo, el instituto recurre a un mago que esconde una bola bajo uno de cinco vasos y los intercambia una y otra vez. Basta perder un solo cambio para señalar el vaso equivocado. Los investigadores pidieron a los cuatro modelos el valor final de todas las variables de cada secuencia. Todos rindieron bien en los dos niveles fáciles. GPT-6 Luna fue el que más bajó, hasta el 87 % en el tramo más largo del aperiódico. La caída llegó con los problemas soluble y general finito. En el gráfico del instituto, Gemini 3.8 Flash termina en el 3 % y el 13 %, respectivamente. Claude Opus 5.5 acaba en el 53 % y el 3 %. GPT-6 Sol se queda en el 3 % y el 0 %, y GPT-6 Luna marca 0 % en ambos casos. El informe sitúa el desplome entre 10.000 y 64.000 tokens, la unidad en la que estos modelos trocean el texto, y lo describe como acierto de azar en los dos niveles difíciles. Claude Opus 5.5 es la excepción en el soluble, donde su curva cae y luego remonta hasta el 53 %. El Ai2 apunta a la sensibilidad de estas tareas como factor probable. En los niveles difíciles, muchos más pasos pueden alterar la respuesta final. Según el instituto, «queda menos margen para que un modelo pase por alto una actualización» sin equivocarse. La segunda parte del trabajo buscaba separar los límites de la arquitectura y los del entrenamiento. El equipo entrenó desde cero seis modelos de 275 millones de parámetros. Había dos transformers, basados en mecanismos de atención, dos híbridos y dos Gated DeltaNet, redes recurrentes que arrastran una memoria mientras leen. Esos modelos practicaron con secuencias de hasta 256 asignaciones. Luego se examinaron con hasta 64.000, unas 250 veces más. Gated DeltaNet y los híbridos rozaron la perfección en los tres primeros niveles, y los transformers nunca aprendieron el general finito. #IA #AllenInstitute #StateBench #Gemini #ClaudeOpus #GPT6 #DocumentosLargos

🔗 Leer la noticia completa en OKDiario

Ver más en NewsToday