¿Recuerdan cuando esos abogados de Nueva York se tomaron una paliza de un juez por citar casos falsos de ChatGPT en sus escritos legales? Es la misma clase de estupidez, solo que trasladada del tribunal a la comisaría.
Lo que resulta gracioso aquí es la pura audacia, si no fuera tan dañino para el sistema de justicia. Hemos pasado los últimos dos años advirtiendo a todos que los LLMs alucinan y se inventan cosas con total confianza. Sin embargo, alguien en una posición de autoridad legal decidió que “confianza” era un sustituto adecuado para la “verdad”. Es como un chef que intenta servir una foto de un pastel en lugar de hornearlo realmente; se ve bien a lo lejos, pero en el momento en que intentas morderlo, todo se desmorona. Estamos hablando de la diferencia entre una oración que “suena plausible” y un hecho. Para un desarrollador, esa brecha es un abismo. Para un oficial perezoso, es un atajo. ¿Por qué alguien confiaría en un generador de tokens probabilístico para manejar los requisitos probatorios de un juicio penal?
Esto no es algún jailbreak sofisticado ni una manipulación sutil de pesos. Es ingeniería de prompts básica usada para fraude. El informe de Sky News deja claro que el oficial está bajo investigación por “crear” evidencia específicamente. (Probablemente usando una cuenta de nivel gratuito, también). La verdadera pregunta es: ¿quién pensó realmente que esto pasaría una verificación de sentido básico? Para un desarrollador, la idea de confiar en una salida de LLM no verificada para una base de datos de producción es una falta pasible de despido. En la policía, hacerlo con un expediente de caso es un delito. Sugiere un nivel aterrador de confianza en la “magia” de la herramienta sin entender cómo funciona realmente la distribución de probabilidad subyacente. Este es el “sesgo de automatización” del que hemos advertido: la tendencia de los humanos a favorecer las sugerencias de sistemas automatizados incluso cuando contradicen el sentido común.
El fallo sistémico aquí no es la IA; es la falta de un registro de auditoría. Si un departamento de policía permite que se presenten documentos sin una cadena de custodia verificable o una forma de detectar texto sintético, básicamente han construido un patio de recreo para empleados perezosos. Estamos viendo una brecha masiva entre la velocidad de adopción de herramientas y la velocidad de supervisión. La fricción aquí no es solo el lío legal; son las miles de horas-hombre que ahora se requieren para revisar minuciosamente cada expediente de caso que este oficial tocó, asegurando que nadie esté en la cárcel basado en una alucinación. O quizás la auditoría sea aún más lenta porque ni siquiera tienen un índice digital centralizado de quién escribió qué. El costo de esta “eficiencia” ahora se está pagando en honorarios legales y reputaciones destrozadas. El contribuyente termina pagando la factura de la auditoría mientras los acusados lidian con el trauma de cargos fabricados.
Esto va a desencadenar una ola de políticas restrictivas. Esperen ver auditorías obligatorias de detección de IA y certificaciones estrictas de “humano en el bucle” para todos los registros digitales de la policía del Reino Unido para el Q4. La industria ama hablar del “problema de alineación” como una amenaza existencial lejana, pero este es el verdadero problema de alineación: alinear el deseo de un humano perezoso de terminar el papeleo rápidamente con los requisitos reales de la ley. Si el sistema permite que un solo oficial fabrique evidencia a través de una interfaz de chat sin activar una bandera roja, el sistema es el problema, no el LLM. Nos estamos moviendo hacia una era donde la “confianza pero verifica” ya no es una sugerencia; es un requisito técnico para cualquiera que porte un distintivo.
La IA no violó la ley; lo hizo el policía.
