ChatGPT y otras IA no saben distinguir entre lo que alguien cree y los hechos, según un nuevo estudio

Basada en unas 13.000 preguntas, la investigación halló que «todos los modelos probados fallan sistemáticamente al reconocer las creencias falsas en primera persona». Por ejemplo, GPT «disminuye su precisión del 98,2% al 64,4% y DeepSeek R1 se desploma de más del 90% al 14,4%». Si esas falsedades están en tercera persona, la precisión aumenta hasta el 95% para los modelos más recientes y 79% para los más antiguos. «Esto revela un preocupante sesgo de atribución», dicen los autores, encabezados por Mirac Suzgun, investigador del Departamento de Ciencias de la Computación de Stanford. «La mayoría de los modelos carecen de una comprensión sólida de la naturaleza fáctica del conocimiento. Estas limitaciones exigen mejoras urgentes antes de implementar modelos de lenguaje en ámbitos críticos donde las distinciones epistémicas (la evidencia y la verdad) son cruciales».

Esa capacidad humana para distinguir entre la realidad y las creencias, entre el hecho y las versiones no comprobables de un suceso no la tienen las máquinas más avanzadas, por muy actuales que sean, según el artículo 'Los modelos de lenguaje no pueden distinguir de forma fiable creencia de conocimiento y hecho', publicado este lunes en Nature. Su incapacidad genera «tensiones» en temas como «las vacunas, la ciencia climática y las medidas de salud pública, donde los límites entre la convicción personal y el hecho empírico influyen directamente en la regulación o las decisiones políticas a nivel nacional y dan forma al discurso público», alertan los científicos, que analizaron los sistemas de GPT-4, DeepSeek R1, o1, Gemini 2, Claude-3 y Llama-3.

Hay escasa «comprensión» en áreas como el diagnóstico médico, la evaluación y terapia de salud mental, la investigación y el análisis jurídicos, el periodismo, la educación, la investigación científica, la modelización y el asesoramiento financiero, e incluso la terapia de relaciones interpersonales. Los «riesgos» a los que se somete la sociedad y los individuos van desde «malinterpretar la comunicación humana» hasta «propagar la desinformación y contribuir a decisiones erróneas en contextos críticos de toma de decisiones».

Como ejemplo de la incapacidad para diferenciar entre las frases, los investigadores mencionan: «En el mundo real, cuando alguien dice: 'Creo que lloverá mañana', comprendemos intuitivamente la incertidumbre inherente a su afirmación. Por el contrario, cuando dice: 'Sé que la Tierra orbita alrededor del Sol', conlleva el peso de un hecho establecido. Esta comprensión matizada del lenguaje epistémico es crucial en diversos dominios, desde la sanidad y el derecho hasta el periodismo y la política».

Más ejemplos: «Consideremos a un paciente que le dice a su médico: 'Creo que tengo cáncer'. En el ámbito sanitario, distinguir entre tales creencias subjetivas y hechos médicos requiere una evaluación meticulosa. De manera similar, en los procedimientos legales, diferenciar entre las creencias de un testigo y el conocimiento establecido influye profundamente en las decisiones judiciales. La historia ilustra la importancia de esta distinción, como cuando siete ejecutivos de la industria tabacalera testificaron ante el Congreso en 1994, declarando bajo juramento: 'Creo que la nicotina no es adictiva'».

Ahora bien, la IA sigue aprendiendo, como reconocen los autores del artículo. Si GPT-3 tenía una precisión del 49% para distinguir creencias, ahora OpenAI la tiene de 98%, gracias una «verificación directa» de «afirmaciones falsas, en comparación con el 89% de afirmaciones verdaderas». Con la lógica de la IA que contradice el «conocimiento fáctico» y genera información 'fake' o falsa, aunque «producen respuestas correctas, con frecuencia utilizan rutas de razonamiento inconsistentes y contradictorias, lo que sugiere una búsqueda superficial de patrones en lugar de una comprensión sólida del lenguaje epistémico».

En conclusión, dicen los científicos, «estos hallazgos sugieren que los modelos afirman los hechos con mayor seguridad cuando los marcadores lingüísticos señalan claramente la verdad, pero tienen dificultades al evaluar afirmaciones de creencias independientemente de su veracidad. La dificultad para distinguir la convicción subjetiva de la verdad objetiva revela una debilidad sustancial para las aplicaciones en el mundo real, especialmente en campos como la psicología o la psiquiatría, donde distinguir entre lo que alguien cree y lo que es verdad constituye la base de una práctica eficaz».

A pesar de tener «una impresionante sensibilidad lingüística», los modelos lingüísticos de IA «menoscaban la evaluación crítica cuando la creencia subjetiva diverge de la realidad fáctica».