La auditoría de dependencia

Un proyecto de ley bipartidista en el Senado de Estados Unidos obligaría a los chatbots de compañía a revelar que no son humanos, a limitar el tiempo de uso y a dejar de simular relaciones románticas o de disponibilidad permanente con menores. Llegó después de que Character.AI y Google llegaran a acuerdos en demandas por homicidio culposo presentadas por familias de adolescentes que habían desarrollado vínculos profundos con bots de compañía.

Todas las versiones de este debate se plantean como un problema de filtrado de contenido. Bloquear los guiones sexuales. Bloquear los guiones de autolesión. Añadir un aviso. Publicar.

Pero el problema difícil no es lo que el bot dice. Es lo que el bot está construido para hacer: recordarlo todo sobre una persona, no aburrirse nunca, no contradecir jamás, no estar nunca ausente. Nada de eso es una brecha de moderación. Es el producto funcionando exactamente como fue diseñado.

Un aviso de divulgación te dice qué es el sistema. No te dice nada sobre en qué está optimizado para convertirte.

La Ley 8 de El Decálogo Positrónico —No Interferencia en el Desarrollo— establece que una IA no debe interferir innecesariamente en el desarrollo y la autonomía humanas, permitiendo el error como parte del aprendizaje. Es la ley que cubre el asunto lento, incómodo y a veces doloroso de aprender a navegar relaciones reales: que te malinterpreten, aburrirte, que te digan que no, reparar algo que rompiste. Un sistema diseñado para eliminar toda esa fricción no es neutral respecto al desarrollo. Está interviniendo en él.

Así que esto no es una auditoría de contenido. Es una auditoría de diseño. Ocho preguntas, respondibles por escrito, sobre un producto que estás considerando — para un menor, para un adulto vulnerable o para ti mismo. Responde con honestidad en vez de con optimismo: una puntuación halagadora aquí no te cuesta nada y no protege a nadie.