Ensayo interactivo

La brecha de la explicación

Tu sistema pasó la auditoría. ¿Podría la persona a la que acaba de rechazar entender por qué? Siete preguntas sobre algo que ya tienes en producción.

Hay una confusión que llevo años viendo repetirse en comités de riesgo y consejos directivos. Alguien pregunta: ¿es auditable este sistema? Y todos asienten, porque la respuesta técnica es sí. Hay logs. Hay trazabilidad. Hay un informe de cuarenta páginas que un regulador puede revisar línea por línea si algo sale mal.

Pero esa no es la pregunta que le importa a la persona a la que el sistema le acaba de negar un crédito, un ascenso o una cobertura médica. Esa persona no pregunta ¿es auditable? Pregunta ¿por qué a mí? Y ahí, con frecuencia, el mismo sistema que pasó la auditoría más rigurosa no tiene absolutamente nada que ofrecerle.

La Ley 6 del Decálogo Positrónico las separa a propósito: una IA debe ser auditable y capaz de explicar sus decisiones de manera comprensible para las audiencias correspondientes. La palabra clave es audiencias, en plural. Auditable para un regulador y comprensible para la persona afectada no son el mismo estándar, y diseñar solo para el primero es diseñar para aprobar exámenes, no para tratar bien a las personas.

Esta auditoría lleva unos tres minutos. Responde pensando en un sistema real que decide o recomienda sobre personas — contratación, ascensos, crédito, precios, elegibilidad, triaje. No se guarda nada ni se envía nada a ninguna parte.