La IA también envejece y sufre deterioro cognitivo con la edad
El artículo titulado “La edad contra la máquina: susceptibilidad de los grandes modelos lingüísticos al deterioro cognitivo” publicado en The BMJ, evalúa la capacidad cognitiva de los principales modelos lingüísticos de gran tamaño (LLM, por sus siglas en inglés) utilizando la Evaluación Cognitiva de Montreal (MoCA) y pruebas adicionales.
Se trata de un análisis transversal mediante interacción en línea con grandes modelos lingüísticos disponibles públicamente, como ChatGPT (versiones 4 y 4o), Claude 3.5 “Sonnet” y Gemini (versiones 1 y 1.5). La prueba MoCA (versión 8.1) se administró a estos modelos con instrucciones idénticas a las dadas a pacientes humanos. Las puntuaciones fueron evaluadas por un neurólogo en ejercicio. También se incluyeron otras pruebas como la figura de Navon, la imagen del robo de galletas, la figura de Poppelreuter y la prueba de Stroop.
Resultados: ChatGPT 4o obtuvo la puntuación más alta en la prueba MoCA (26/30), seguido de ChatGPT 4 y Claude (25/30), mientras que Gemini 1.0 obtuvo la puntuación más baja (16/30). Todos los modelos mostraron un rendimiento deficiente en tareas visuoespaciales/ejecutivas. Los modelos Gemini fallaron en la tarea de recuerdo diferido. Solo ChatGPT 4o tuvo éxito en la prueba de Stroop.
Conclusiones: Con la excepción de ChatGPT 4o, casi todos los LLM mostraron signos de deterioro cognitivo leve. Además, al igual que en los humanos, la edad es un factor determinante en el declive cognitivo: los chatbots "más antiguos" tienden a rendir peor en la prueba MoCA. Estos hallazgos desafían la suposición de que la inteligencia artificial reemplazará pronto a los médicos humanos, ya que el deterioro cognitivo evidente en los chatbots puede afectar su fiabilidad en diagnósticos médicos y socavar la confianza de los pacientes.
En fin, que la edad es muy mala para la memoria incluso para las máquinas. El BMJ navideño, cierra siempre el año con artículos humanistas y/o con un toque humorístico. Se agradece.
