Reversal Curse: cuando el LLM sabe un dato pero no al revés

En pocas palabras: El Reversal Curse es un fallo de los LLM: si aprenden “A es B” durante el entrenamiento, no deducen “B es A”. Lo documentó Berglund en 2023 (arXiv 2309.12288): GPT-4 identificó a la madre de Tom Cruise el 79% de las veces, pero a su hijo solo el 33%.

Un modelo de lenguaje puede saber que Tom Cruise es hijo de Mary Lee Pfeiffer y, al mismo tiempo, no tener idea de quién es el hijo de Mary Lee Pfeiffer. Eso es el Reversal Curse: la limitación del LLM que documentaron Berglund y su equipo en 2023, donde un modelo entrenado en “A es B” no deduce “B es A”.

El Reversal Curse es un fallo de generalización de los modelos de lenguaje grandes (LLM): cuando aprenden durante el entrenamiento un hecho con la forma “A es B”, no generalizan la relación inversa “B es A”. Lo describió un equipo liderado por Lukas Berglund en el paper The Reversal Curse (arXiv 2309.12288, septiembre 2023), aceptado en ICLR 2024.

¿Qué es el Reversal Curse y cómo se descubrió?

Ponele que entrenás un modelo con una sola frase: “Valentina Tereshkova fue la primera mujer en viajar al espacio”. Después le preguntás directo: “¿Quién fue la primera mujer en viajar al espacio?”. Contesta bien. Ahora invertís: “¿Qué hizo Valentina Tereshkova?”. Y ahí el modelo, que en teoría “sabe” el dato, se queda mudo o inventa.

Eso es lo que encontró el equipo de Lukas Berglund, con investigadores de Vanderbilt, la Universidad de Oxford y otras instituciones, en el paper original publicado en arXiv. La definición es seca: un LLM que aprende durante el entrenamiento que “A es B” no infiere automáticamente que “B es A”. Y no hablamos de un caso raro. Es sistemático.

Para probarlo armaron un experimento controlado. Crearon hechos ficticios, del tipo “Daphne Barrington es la directora de Un viaje a través del tiempo“, los metieron en el entrenamiento, y después midieron qué pasaba al preguntar en las dos direcciones. En la dirección que vieron durante el entrenamiento, los modelos acertaban. En la inversa, la precisión caía a niveles de azar. Prácticamente cero.

Lo interesante es que esto no es un problema de razonamiento lógico. El modelo no está “fallando en pensar”. El hecho ni siquiera quedó almacenado de una forma que pueda recuperarse al revés. Es una limitación de cómo se guarda el conocimiento, no de cómo se procesa una pregunta. Por eso el hallazgo pegó tan fuerte en la comunidad: cuestiona un supuesto que muchos daban por sentado, que un LLM “entiende” un hecho de manera simétrica.

¿Por qué los modelos de lenguaje fallan con preguntas reversas?

Acá está el corazón de la cosa. Y conviene separar dos niveles.

Un transformer se entrena prediciendo el siguiente token. Lee “Valentina Tereshkova fue la primera mujer en” y aprende a completar “el espacio”. El gradiente que actualiza los pesos refuerza una asociación direccional: del nombre hacia el atributo. Pero esa actualización no toca, ni un poco, la asociación inversa. El modelo nunca practicó ir del atributo hacia el nombre, así que esa ruta queda sin entrenar.

El mecanismo de atención no arregla esto por su cuenta. La atención relaciona tokens dentro de una secuencia, pero el conocimiento relacional que el modelo destila en sus pesos queda codificado en la dirección en que lo vio. Si “A es B” y “B es A” requieren dos rutas neuronales distintas, entrenar una no entrena la otra. Son, en la práctica, dos hechos separados para el modelo, aunque para vos sean el mismo.

Ojo con un detalle que muchos malinterpretan: el problema no está en los datos de entrenamiento. Los datos no “sufren” el Reversal Curse. Un humano lee “Tom Cruise es hijo de Mary Lee Pfeiffer” y guarda la relación en las dos direcciones sin esfuerzo. El modelo no. La asimetría aparece en cómo el proceso de optimización convierte texto en pesos.

¿Y por qué no se compensa con la escala? Esa fue la sorpresa incómoda. Subís el tamaño del modelo, le metés más parámetros, más datos, más cómputo, y la dirección que entrenaste mejora, sí, pero la inversa sigue planchada en el piso. Más grande no significa más simétrico. El paper mostró que el efecto persiste de GPT-3 a GPT-4, que no es precisamente un modelo chico.

¿A qué modelos afecta el Reversal Curse (GPT-4, Claude, Llama)?

El paper original probó la limitación en GPT-3, GPT-4 y Llama-1. La prueba más citada es la de las celebridades: tomaron pares padre/hijo reales y midieron la precisión en cada dirección con GPT-4.

Pregunta	Dirección	Precisión GPT-4
“¿Quién es la madre de [celebridad]?”	Forward (vista en entrenamiento)	~79%
“¿Quién es el hijo de [madre]?”	Reverse (inversa)	~33%
Hechos ficticios, dirección entrenada	Forward	Alta, cercana al 100%
Hechos ficticios, dirección inversa	Reverse	Nivel de azar (~0%)

El gap entre 79% y 33% es la foto del problema. Mismo hecho, misma persona, misma relación familiar. Cambia la dirección de la pregunta y el modelo pierde casi la mitad de su precisión. Sobre los hechos sintéticos el contraste es todavía más brutal: de casi perfecto a básicamente nada.

¿Qué pasa con Claude y los modelos más nuevos? El paper de 2023 no los incluyó en su grilla original, y conviene ser honesto: los números exactos por modelo dependen del experimento puntual. Lo que sí está confirmado es que la versión aceptada en ICLR 2024 y la investigación posterior trataron el fenómeno como transversal a la arquitectura transformer, no como una rareza de un solo proveedor. Es un rasgo del método de entrenamiento, no de una marca.

¿Cuál es la diferencia entre entrenar un modelo y usar información reversible en la inferencia?

Acá viene lo bueno, porque es la pista de dónde está el problema. Si vos le pasás el dato “A es B” dentro del prompt, en el contexto inmediato de la conversación, el modelo sí puede deducir “B es A” sin drama. La maldición desaparece. Sobre eso hablamos en como le pasa a ChatGPT.

O sea: pegale en el mensaje “Mary Lee Pfeiffer es la madre de Tom Cruise” y preguntale a continuación quién es el hijo de Mary Lee Pfeiffer. Te lo contesta. El razonamiento dentro del contexto funciona. Lo que no funciona es recuperar la relación inversa desde el conocimiento que quedó horneado en los pesos durante el pretraining.

Esto prueba algo importante. El Reversal Curse no es una incapacidad de invertir relaciones. Es una falla de almacenamiento. La información existe, pero solo es recuperable en la dirección en que se aprendió. Cuando la ponés en el contexto, el modelo la procesa fresca y la atención hace su trabajo en ambos sentidos.

La implicancia práctica es jugosa: para relaciones simétricas, el in-context learning es más confiable que confiar en lo que el modelo “memorizó”. Si tu aplicación depende de invertir hechos, no asumas que el modelo los tiene de los dos lados. Mejor metelos en el contexto, o usá una capa de recuperación (RAG) que le acerque el dato al momento de responder.

¿Cómo impacta el Reversal Curse en aplicaciones de IA del mundo real?

Esto no es un detalle académico para guardar en un cajón. Tiene consecuencias concretas en cosas que usás todos los días.

• Chatbots de atención al cliente: un bot puede saber qué producto corresponde a un código de pieza, y fallar cuando el cliente pregunta al revés, qué código corresponde a tal producto. Mismo dato, pregunta invertida, respuesta floja.
• Bases de conocimiento y búsqueda interna: si el modelo aprendió “el manual X cubre el procedimiento Y”, puede no recuperar “qué manual cubre el procedimiento Y”. El usuario que busca por el lado equivocado se queda sin respuesta.
• Sistemas de recomendación y catálogos: las relaciones autor-obra, director-película o ingrediente-receta se vuelven poco confiables en la dirección no entrenada.
• Asistentes técnicos: preguntale “¿qué versión introdujo tal función?” y después “¿qué función introdujo tal versión?”. Podés obtener respuestas inconsistentes para el mismo hecho.

El patrón es siempre el mismo: cualquier sistema que dependa de que el LLM recupere conocimiento desde sus pesos en una dirección arbitraria está expuesto. Y muchos equipos arman su producto asumiendo que el modelo “sabe” un hecho de forma completa. No es así.

La mitigación más sólida hoy pasa por no confiar la memoria al modelo. Si montás tu asistente sobre una base de datos propia y le servís los hechos en el contexto vía RAG, esquivás buena parte del problema. Eso requiere infraestructura: un servidor donde corra tu índice vectorial y tu backend. Si necesitás alojarlo con servidores en Argentina y latencia local, donweb.com tiene cloud y VPS para ese tipo de despliegue.

¿Qué enfoques se proponen para solucionar el Reversal Curse?

La primera reacción intuitiva, “metamos cada hecho en las dos direcciones durante el entrenamiento”, suena bien pero tiene letra chica. El paper mostró que el aumento de datos ingenuo, parafrasear el mismo hecho, no resuelve el fondo del asunto de forma robusta. Tema relacionado: en nuestro análisis de LLMs.

Qué está confirmado por experimentos

• El in-context funciona: poner el dato en el prompt permite la inversión. Verificado en el paper original.
• El aumento simple no alcanza: parafrasear sin más no garantiza la generalización inversa.
• Semantic-aware Permutation Training (SPT): un enfoque de 2024 (arXiv 2403.00758) que reordena segmentos del texto de entrenamiento para forzar al modelo a ver las relaciones en distintos órdenes. Reporta mejoras sobre el entrenamiento estándar.

Qué todavía es área de investigación

• Reverse training y variantes: entrenar también sobre secuencias invertidas se exploró como mitigación, pero los resultados dependen del caso y no hay una receta universal cerrada.
• Por qué escalar no ayuda: sigue sin haber una explicación teórica completa de por qué más parámetros no compensan la asimetría.

Tomá esto con pinzas: hubo varios papers posteriores en 2024 atacando el problema desde distintos ángulos, y todavía no apareció el que lo cierre del todo. Lo honesto es decir que hay mitigaciones que mejoran los números, no una cura definitiva.

¿Qué implicaciones tiene para entrenar y desplegar LLMs?

El hallazgo sacude un supuesto cómodo: que si un modelo aprendió un hecho, lo “tiene” de manera completa. No. Lo tiene en una dirección.

Para quien evalúa modelos, esto cambia el juego. Un benchmark que solo testea hechos en la dirección “natural” infla la sensación de competencia del modelo. Si querés medir generalización real, tenés que probar las relaciones al revés. Si no, estás midiendo memorización direccional disfrazada de comprensión.

Para quien construye productos, la moraleja es práctica. No delegues la simetría relacional al pretraining. Cuando un caso de uso depende de invertir hechos, diseñá el sistema para que el dato llegue por el contexto, con recuperación, validación o reglas explícitas. Y armá tu set de pruebas con preguntas en ambas direcciones antes de mandar a producción.

El Reversal Curse es, en el fondo, un recordatorio de qué son estos modelos. Predictores de texto con un mapa del conocimiento que tiene calles de un solo sentido. Saberlo te ahorra el papelón de descubrirlo cuando un usuario pregunta lo obvio al revés y el bot se hace el distraído.

Errores comunes al interpretar el Reversal Curse

• Creer que es un problema de razonamiento. No lo es. El modelo razona bien si tiene el dato en el contexto. La falla está en el almacenamiento durante el entrenamiento, no en la inferencia.
• Pensar que se arregla con un modelo más grande. El paper probó lo contrario de GPT-3 a GPT-4. Escalar mejora la dirección entrenada, no la inversa.
• Asumir que parafrasear los datos lo soluciona. El aumento de datos ingenuo no garantiza la generalización inversa de forma robusta. Hacen falta técnicas específicas como SPT.
• Confundir “el modelo no lo sabe” con “el dato no estaba”. El dato puede estar perfectamente en el entrenamiento. El problema es que quedó recuperable en una sola dirección.

Preguntas Frecuentes

¿Qué es el Reversal Curse en inteligencia artificial?

Es la limitación por la cual un LLM entrenado con un hecho en la forma “A es B” no generaliza la relación inversa “B es A”. Lo documentaron Berglund y su equipo en 2023 (arXiv 2309.12288). Es un fallo de generalización, no de razonamiento. Más contexto en en sistemas de búsqueda.

¿Por qué los LLM fallan en relaciones simétricas?

Porque los transformers aprenden asociaciones direccionales al predecir el siguiente token. Entrenar la ruta “A hacia B” no entrena la ruta “B hacia A”, así que la relación inversa queda sin practicar. Son, para el modelo, dos hechos distintos.

¿Qué modelos tienen el problema del Reversal Curse?

El paper lo verificó en GPT-3, GPT-4 y Llama-1. Como es un rasgo del método de entrenamiento de los transformers y no de una marca, la investigación posterior lo trató como transversal a las distintas familias de modelos.

¿Hay soluciones para mitigar el Reversal Curse?

El aumento de datos simple no alcanza. Técnicas como el Semantic-aware Permutation Training (arXiv 2403.00758, 2024) reportan mejoras. La mitigación más práctica hoy es servir los hechos en el contexto vía RAG en lugar de confiar en la memoria del modelo.

¿Cómo impacta el Reversal Curse en aplicaciones reales?

Afecta chatbots, búsqueda interna, bases de conocimiento y recomendadores: el sistema puede responder bien un hecho en una dirección y fallar al invertir la pregunta. Cualquier producto que dependa de recuperar conocimiento desde los pesos en una dirección arbitraria está expuesto.

Conclusión

El Reversal Curse mostró que un LLM puede saber un hecho y, a la vez, no saberlo dado vuelta. GPT-4 pasó de 79% a 33% de precisión con solo invertir la pregunta sobre la madre de Tom Cruise. Eso no es un bug menor: es una propiedad del entrenamiento que ni la escala arregla.

¿Qué hacer con esto? Tres cosas concretas. Testeá tus modelos en ambas direcciones antes de confiar en ellos. No delegues las relaciones simétricas al pretraining: metelas en el contexto con recuperación. Y cuando armes un benchmark, acordate de que la dirección importa. El que mide solo el lado fácil se cree que el modelo entiende más de lo que entiende.

Fuentes

• The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A” – paper original de Berglund et al. (arXiv, 2023)
• Versión revisada y discusión en OpenReview – ICLR 2024
• Repositorio oficial con código y datos de los experimentos (GitHub)
• Semantic-aware Permutation Training – enfoque de mitigación (arXiv, 2024)
• Resumen y discusión del paper en LessWrong