Los modelos de inteligencia artificial como ChatGPT, Claude u otros, a pesar de lo avanzados que son hoy, siguen generando respuestas que no son del todo ciertas: inventan datos, matrimonios, citas, fechas, cosas que suenan plausibles pero no lo son. Ese fenómeno se llama “alucinación” (hallucination en inglés). OpenAI acaba de publicar un estudio detallado que explica por qué ocurre esto y qué cambiar para reducirlo.
✅ Puntos clave del estudio
- Los modelos reciben premio si adivinan bien, aunque no estén seguros, pero ninguna recompensa si dicen “no lo sé”. Eso los entrena a responder siempre, aunque la respuesta pueda ser errónea.
- Cuando se ajustan las métricas de evaluación para castigar los errores confiados y premiar la honestidad (admitir incertidumbre), las alucinaciones bajan significativamente, sin que se pierda precisión general.
- Aunque GPT-5 ha reducido la frecuencia de alucinaciones comparado con modelos anteriores, no las elimina por completo. Incluso modelos potentes siguen inventando citas, hechos o datos que no tienen respaldo.
🌍 Más contexto: ¿por qué sucede esto?
Algunas causas adicionales que recoge el estudio:
- Los benchmarks (las pruebas que usan los desarrolladores para medir qué tan “buena” es una IA) suelen recompensar la exactitud y la seguridad, pero no premian que el modelo admita cuando no sabe. Esto genera el comportamiento de “contestarlo todo”.
- Durante el preentrenamiento, los modelos ven enormes cantidades de texto donde muchas afirmaciones son plausibles, pero no todas son verdaderas. Aprenden patrones estadísticos, no verdades absolutas.
- También entran en juego sesgos de entrenamiento (datos poco comunes, falta de ejemplos claros), falta de información actualizada o verificada, o preguntas para las cuales no hay datos suficientes.
💡 ¿Qué se propone para mejorar?
- Cambiar los sistemas de evaluación (benchmarks) para que penalicen respuestas incorrectas con seguridad y premien los modelos que admiten incertidumbre.
- Incorporar métricas explícitas de confianza, para que un modelo no solo genere una respuesta, sino que diga cuán seguro está de ella.
- Mejorar los datasets de entrenamiento para que incluyan más ejemplos ambiguos, más contexto real y más situaciones de “no sé”, para que el modelo aprenda que es aceptable detenerse.
⚠️ ¿Cuándo confiar en las respuestas de una IA?
Estas son algunas señales de alerta para que sepas cuándo la respuesta podría no ser totalmente fiable:
- Si la IA da fechas, nombres o citas sin fuente clara.
- Si la información parece muy específica pero no verificable con simples búsquedas.
- Si la IA no indica que puede estar equivocándose.
- En tareas críticas como salud, legales, finanzas —siempre validar con fuentes confiables.
🔍 Extra: otras herramientas que también alucinan (y cómo lo manejan)
- Claude (de Anthropic) tiende a rechazar dar respuestas cuando no está seguro, en comparación con otros modelos que siempre intentan responder.
- GPT-5 mejora las tasas de citas falsas y otros errores, pero en campos técnicos todavía puede fallar.
✍️ Conclusión
La IA no es perfecta. No se trata de que falle porque “no sirve”, sino de entender cómo, cuándo y por qué falla. Gracias al estudio reciente, sabemos que muchas alucinaciones se podrían reducir si las métricas de entrenamiento y evaluación se ajustan para valorar la honestidad y no solo la certeza.
Si estás usando herramientas de IA, ya sabés: preguntá, verificá, cruzá fuentes, y no des por sentado cada respuesta, por más convincente que suene.
