Modelos Grandes Matemáticos para la Inteligencia Artificial (I)

Los límites de los Modelos Grandes de Lenguaje

Un Modelo Grande de Lenguaje (LLM) utiliza una red neuronal simulada computacionalmente con capacidad de aprendizaje, para ser usada con miles de millones de parámetros lingüísticos, es decir, enormes cantidades de texto sin etiquetar. Se entrena mediante aprendizaje auto supervisado o aprendizaje semi supervisado. Estos modelos se alejan del paradigma anterior de la inteligencia artificial (AI), la de entrenar modelos supervisados especializados para tareas muy específicas. Aunque han sido diseñados y entrenados en tareas simples como predecir la siguiente palabra en una oración, los modelos de lenguaje más avanzados son capaces de capturar la sintaxis y la semántica del lenguaje humano, demuestran un conocimiento general considerable sobre el mundo y son capaces de producir diálogos complejos y completos. Los modelos más conocidos son las variantes GPT, en que se popularizó las interacciones a través de mensajes de texto, Chinchilla, Minerva, Alexa TM, LLaMA, etc.

Los modelos grandes de lenguaje adquieren habilidades sustanciales que no estaban previstas en su diseño y su programación. Estas se conocen como "habilidades emergentes". Se han descrito cientos de habilidades emergentes. Los ejemplos incluyen aritmética de varios pasos, aprobar exámenes de nivel universitario, identificar el significado previsto de una palabra no entrenada, cadenas de pensamientos, decodificar el Alfabeto Fonético Internacional, descifrar las letras de una palabra, identificar contenidos ofensivos en párrafos de dialectos, y generar un equivalente en inglés similar a los proverbios en otros idiomas. En contrapartida, se ha observado que los LLM pueden llegar a afirmar con confianza hechos que no parecen estar justificados por sus datos de entrenamiento, un fenómeno que se ha denominado "alucinación".

Los modelos grandes de lenguaje han supuesto grandes expectativas y marcado un hito en la búsqueda de una Inteligencia Artificial General (AGI), sobre todo cuando empiezan a admitir como entrada y salida además de texto, imágenes y vídeo, lo que se denomina multimodalidad. Quizá en pocos años, estos modelos probablemente pasarán el Test de Turing, exhibirán unas respuestas indistinguibles a las de un ser humano. Probablemente superarán con mucho en inteligencia a cualquier humano en tareas humanas y en el arte. Muchísimos trabajos de chaqueta, toga, bata blanca, de enseñanza o enfrente del ordenador serán muchísimo mejor ejecutados y mejor personalizados por estos modelos. Incluyendo una revolución en la industria del entretenimiento, con la creación completa sin intervención humana de películas o juegos de ordenador. Esto conducirá a un cambio drástico y total en el modelo productivo.

Pero creo personalmente que todos estos cambios tienen un recorrido con un impacto muy alto, pero acotado. Solo podrán encontrar mejores directivas, pero no resolver problemas complejos o de ciencia pura. Entre otros muchos, no podrán dar una solución simple a problemas como curar el cáncer, eliminar el hambre en el mundo, liberarnos de las guerras, resolver el cambio climático, aunar la teoría de la relatividad con la física cuántica, descubrir el origen del universo, disminuir la extinción masiva de especies, mejorar la salud mental humana, describir el interior de un agujero negro, encontrar un sistema eficiente para los viajes espaciales, etc, etc.

Sigue la siguiente publicación donde argumentaremos las enormes ventajas que tienen los modelos matemáticos frente a los modelos de lenguaje.