¿Recuerdan cuando Amazon tuvo que descartar su herramienta de contratación con IA porque odiaba a las mujeres?
Los humanos son sesgados, claro. Pero el sesgo humano suele ser desordenado, inconsistente y limitado a la sala donde se sienta el entrevistador. El sesgo de la IA es sistémico y escalable. Según MIT Tech Review, la IA es más propensa que los humanos a formar estos sesgos durante el proceso de contratación. El problema es que estos modelos no están descubriendo “mérito”—solo están repitiendo las preferencias históricas de las personas que escribieron los datos de entrenamiento originales.
Si tus diez contrataciones exitosas anteriores fueron a las mismas tres universidades y jugaban lacrosse, el modelo no ve “talento”. Ve un patrón. Luego filtra agresivamente a cualquier persona que no encaje en ese molde específico (probablemente porque es más fácil que hablar con personas). Es básicamente un espejo de alta velocidad de nuestras peores tendencias, solo envuelto en un barniz de objetividad matemática.
A la industria le encanta hablar de “alineamiento” y “restricciones de equidad,” pero eso es en su mayoría teatro. No puedes simplemente decirle a un modelo que “ignore el género” si el género está correlacionado con mil otras variables en el conjunto de datos, como brechas laborales o extracurriculares específicas. Intentar corregir un modelo sesgado después de los hechos es como un chef que usa una salsa prehecha y finge que es una reducción; puedes agregar un poco de sal al final, pero la base ya está arruinada.
¿Realmente queremos una caja negra que decida quién recibe un cheque? La realidad es que estas herramientas no encuentran al mejor candidato; encuentran al candidato que mejor sabe manipular el prompt. Es una carrera a la baja donde gana el currículum más “optimizable”, no el ingeniero más competente.
Es un desastre esperando ocurrir.
Luego está el lado extraño de la casa: el sabotaje de datos meteorológicos. Cuando los datos utilizados para la modelización climática se manipulan, los resultados no son solo “erróneos”—son peligrosos. Ya sea una manipulación intencional o simplemente un fallo sistémico, la fiabilidad de las entradas es lo único que realmente importa. Si el conjunto de entrenamiento está envenenado, la salida es una alucinación con un icono de pronóstico adjunto.
Es un recordatorio de que el mantra de que “los datos son la verdad” es una mentira. Los datos son solo un registro de lo que sucedió, y los registros pueden ser falsificados, eliminados o sesgados. Si no podemos confiar en los sensores que proporcionan los números crudos, la arquitectura de transformador más sofisticada del mundo es solo un generador de números aleatorios muy caro. O quizás el problema sea el hardware—ver más abajo.
El estado actual de la contratación con IA ha creado una especie de fricción extraña. Tenemos estos sistemas “eficientes” que aún resultan en un candidato esperando tres semanas para que un bot envíe un correo de rechazo genérico. Es lo peor de ambos mundos: la frialdad de la automatización y la latencia de una burocracia rota.
Hemos llegado al punto en el que el currículum “estándar” es un pasivo porque está diseñado para una máquina que no entiende matices. Si te postulas para un puesto de desarrollador, ya no peleas contra otros devs; peleas contra una configuración de weights-and-biases que podría odiar la palabra “apasionado” o amar la palabra “sinergia” por razones que nadie puede explicar.
Para el Q4, veremos una oleada de formatos de currículum “anti-IA” diseñados específicamente para romper estos scrapers o engañarlos para que pasen candidatos a un humano. Veremos un retorno al portafolio y a las referencias porque el intermediario—el filtro con IA—se ha convertido en un cuello de botella de incompetencia.
