Saltar al contenido
Diagnóstico

Cómo revisar una respuesta de IA cuando todo parece correcto

Ctrl + Alt + Pensar, newsletter de DigitalSynapse, con símbolo de partículas azules, violetas y cian sobre fondo negro.

Synji D. Mulatiere · 26 de octubre de 2026 · Lectura estimada: 4 minutos.

Una suma puede estar bien hecha y darte un resultado de mierda. Basta con que uno de los importes de partida esté mal.

Parece obvio cuando lo digo así. La cosa se complica si la cifra viene envuelta en un informe que se explica estupendamente, con su tabla, su conclusión y su «análisis detallado». Dan ganas de cerrar la tarea. Es justo ahí donde conviene abrir la fuente.

Capturas originales del experimento de supervisión: requisitos de una tarea y espacio de trabajo con pruebas y agente.

Figura 2 de Looks Fine to Me: interfaz del experimento, no una demo propia. CC BY 4.0.

Una tabla inventada para ver el problema

Imagina una tienda ficticia. Un pedido de 49,90 euros acaba registrado como 4.990. El asistente suma la columna y declara que ha sido un mes estupendo.

Puede haber sumado correctamente. También puede haber escrito una explicación coherente con ese total. Pedirle que repita la suma sobre el mismo archivo no corrige el dato de entrada.

Para comprobarlo necesitas volver al pedido original. Si hay dos filas idénticas, necesitarás también un identificador o un documento que permita saber si son dos compras o un duplicado. Borrar una porque «parece repetida» sería otra decisión sin evidencia.

El ejemplo es ficticio y no describe una prueba realizada con ningún producto. Sirve para separar dos preguntas: si el cálculo está bien y si estamos calculando con los datos que corresponden.

Por qué la confianza no basta

En el preprint Looks Fine to Me, del 20 de octubre, 36 participantes supervisaron un agente de programación. En 34 de las 43 tareas con defecto silencioso sin resolver y valoración válida, la confianza final fue alta: 4 o 5 sobre 5.

Son tareas, no 34 personas distintas. El estudio todavía no está revisado por pares y su contexto de laboratorio limita lo que podemos generalizar. Lo relevante es que documenta fallos que sobrevivían mientras sus revisores seguían bastante seguros. El gesto de revisar puede existir sin que aparezca la comprobación que hacía falta.

Un recibo que te diga dónde mirar

Antes de leer la conclusión del asistente, apunta qué condición debería cumplir. En el ejemplo: «el total coincide con los pedidos reales, sin contar dos veces el mismo pedido».

Después puedes usar este prompt:

Dame un recibo de tu trabajo: fuentes que has usado realmente,
datos que no has podido comprobar y supuestos que has introducido.
Señala tres puntos que puedan cambiar el resultado y dime dónde
verificarlos: archivo, fila, página o cálculo concreto.
Si no tienes esa evidencia, dilo. No inventes acciones realizadas.

Revisa esas referencias y escoge además un punto por tu cuenta, preferiblemente uno que cambie la decisión. Si el asistente dice «lo he comprobado», abre lo que supuestamente comprobó. No hace falta discutir sobre su seguridad: hace falta mirar el dato.

El recibo lo escribe el mismo sistema y también puede fallar. Es una propuesta para orientar una revisión, no una auditoría ni un método demostrado por el estudio. Cuatro comprobaciones correctas no certifican un documento entero. Un error material pide ampliar la revisión, especialmente si el resultado va a comprometer dinero o afectar a otras personas.

Pensar antes de ver la respuesta

Como antecedente, de archivo, Dong Yan publicó el 28 de septiembre un experimento revisado por pares con 240 futuros docentes, 218 en el análisis principal. Anotar el juicio propio antes de ver el consejo de IA ayudó frente a recomendaciones engañosas. Con las correctas no apareció una diferencia estadísticamente significativa entre las secuencias.

Fue una prueba con escenarios de una universidad; no valida este prompt. Aun así, da una razón para reservarte un minuto de pensamiento antes de recibir una conclusión tan bien escrita que te entren ganas de adoptarla.

Esta es la práctica de la edición del 26 de octubre de Ctrl + Alt + Pensar. La edición principal conecta estos fallos silenciosos con las aprobaciones de Claude Duet y el trabajo real de mantener PHP. Aquí puedes empezar por un archivo pequeño. Mejor uno que vayas a utilizar de verdad y puedas contrastar sin exponer datos personales.

Fuentes y bibliografía