Le pidió a la IA que pasara a limpio un dato equivocado, y el papel circuló como bueno

Un analista le pidió a una IA que pasara a limpio un dato que ella misma se había inventado, y el resumen circuló como bueno. Dónde conviene poner la revisión.

Una barra gris de canto rasgado atraviesa una funda azul lisa que solo le cubre el tramo central; los dos extremos que asoman a izquierda y derecha son iguales entre sí. Un filo coral remata la boca por la que entra la barra.

Qué ha pasado

Estados Unidos tenía aviones militares en el aire en la primavera de 2026 cuando abortó una operación armada contra un buque chino. La información que la sostenía se la había inventado una inteligencia artificial. Lo contó CNN el 18 de septiembre, en una exclusiva que atribuye a fuentes conocedoras del episodio, y lo recogió TechCrunch ese mismo día.

Un analista del mando de operaciones especiales de Estados Unidos consultó a un asistente de inteligencia artificial. Le preguntó por unos informes sobre el manifiesto de carga del buque. El manifiesto es el documento que dice qué lleva dentro. El asistente cruzó información pública con información clasificada de interceptación de comunicaciones, y concluyó mal qué llevaba el barco.

Después vino el paso que interesa aquí. El analista volvió a usar la inteligencia artificial para empaquetar ese hallazgo equivocado en un informe de inteligencia de los normales, de los que los mandos se creen. Y lo distribuyó. El informe circuló por las fuerzas armadas estadounidenses durante la guerra con Irán, y decía que el buque transportaba componentes de un programa de armas nucleares.

Pasar a limpio no arregla el dato

Ese segundo paso no comprueba nada: la inteligencia artificial empaquetó el mismo hallazgo equivocado en el formato de siempre. El dato siguió siendo falso. Lo que ganó fue aspecto.

Un borrador se lee como un borrador. Quien lo tiene delante sabe que está a medias y lo trata así. Un informe con el formato de siempre ya no pide esa desconfianza. Quien lo recibe no ve la consulta que hay detrás: ve un documento con la forma que tienen los documentos de la casa. Y esa forma es buena parte de lo que usamos para decidir cuánto nos fiamos de un papel.

Jake Steckler, investigador de GovAI y antiguo oficial del Ejército estadounidense, respondió por escrito a TechCrunch. Dice que es importante que los militares entiendan la incertidumbre que llevan dentro los modelos de lenguaje. Y que eso es especialmente crítico en las decisiones que pueden acabar en el uso de la fuerza. Los modelos de lenguaje son el tipo de programa que hay debajo de estos asistentes.

Para Steckler, estas herramientas pueden ser útiles cuando se usan en el contexto adecuado y con salvaguardas. Correr en la adopción por encima de todo lo demás, dice, probablemente lleve a incidentes. Y esos incidentes harían que los militares perdieran la confianza en estos sistemas, con lo que la adopción acabaría yendo más despacio.

Dónde se repite esto en un negocio pequeño

El recorrido se parece bastante, aunque en un taller o en una tienda no haya canales de mando.

Le pides a uno de estos asistentes las características de un producto y las pegas en la ficha de tu tienda, debajo de tu logotipo. Le pides que redacte el alcance y los plazos de una instalación y sale con tu membrete y tu número de presupuesto. Le pides que escriba las condiciones de un servicio y acaban publicadas en tu web.

En los tres casos hay dos momentos distintos. Uno en el que se genera el texto, y otro en el que ese texto se convierte en documento de tu empresa. Quien lo recibe no puede distinguirlos. Tú, releyéndolo dentro de un mes, tampoco.

El punto donde conviene revisar

La revisión se suele poner donde se genera el borrador, que es justo donde menos falta hace, porque ahí todavía se lee con desconfianza. El sitio que se queda sin vigilancia es el otro: el momento de pegar el texto en la plantilla, ponerle el membrete y darle a enviar.

Hay un gesto que no cuesta nada. Pega lo que salga del asistente entre corchetes, y que de tu ordenador no salga ningún documento con un corchete dentro. Los corchetes se quitan a mano, uno a uno, y quitarlos obliga a leer lo que hay dentro.

Mientras los quitas, cada dato se comprueba en el sitio donde vive. El plazo, en el contrato. El precio, en tu tarifa. La referencia, en tu catálogo. Un asistente rellena los huecos con lo que resulta verosímil, y lo verosímil no salta a la vista releyendo. Es la misma regla que contamos para las fotos generadas con IA: la línea está entre retocar tu foto e inventar el producto que el cliente va a recibir.

Fuentes

¿Hablamos?

Te respondemos en menos de 24 horas laborables, con claridad y sin compromiso. Y hablas directamente con quien va a diseñar y programar tu proyecto.

Cuéntanos tu proyecto

Seguir leyendo

Otras entradas relacionadas

¿Hablamos?

¿Quieres esto mismo en tu negocio?

Cuéntanos cómo trabajas hoy y te decimos qué se puede automatizar y qué no. Te respondemos en menos de 24 horas laborables, con claridad y sin compromiso.