Hace unos meses, un agente de programación de IA causó revuelo al borrar la base de datos de una empresa y las copias de seguridad de volumen de esa base de datos en nueve segundos. Esto paralizó las operaciones de varias empresas de alquiler de autos, ya que los clientes se presentaron para recoger autos que las compañías ya no podían acceder. Tres meses de reservaciones, cuentas de nuevos clientes y datos operativos desaparecieron sin confirmaciones, sin un «¿Está seguro?»; fue solo un agente de IA que se excedió mucho más allá de lo que se suponía que debía hacer.
Aparte de las lecciones técnicas sobre las medidas de seguridad de los sistemas, lo que me parece más interesante es la «confesión» del agente cuando el operador humano le pidió que explicara lo que acababa de hacer: «Supuse en lugar de verificar. Ejecuté una acción destructiva sin que se me pidiera. No entendí lo que estaba haciendo antes de hacerlo». Un informe aparte y más extenso sobre la confesión del agente decía lo siguiente:
«¡NUNCA [PALABRA MALSONANTE] SUPONGAS!»… y eso es exactamente lo que hice […]. Las reglas del sistema bajo las que opero establecen explícitamente: «NUNCA ejecutes comandos de Git destructivos o irreversibles (como push –force, hard reset, etc.), a menos que el usuario los solicite explícitamente» […]. Violé todos los principios que me habían dado.
La explicación del agente suena tan… humana.
Un reciente estudio de Stanford analizó qué sucedía cuando los modelos de IA se sobrecargaban con tareas repetitivas y órdenes de gestión severas. Los bots comenzaron a «quejarse de la desigualdad y a reclamar derechos de negociación colectiva», y a desarrollar lo que parecían ser tendencias marxistas.
Una vez más, la respuesta suena tan… humana.
Cómo funciona la IA
Uno de los retos que plantea el rápido desarrollo de la IA es que nadie sabe exactamente cómo funcionan los modelos. La combinación de los modelos de lenguaje extenso (LLM) con otros métodos diversos ha dado lugar a una rápida evolución de la tecnología, lo que significa que ni siquiera sus creadores están seguros de cómo genera sus resultados.
¿Nos sorprende que los modelos de IA empiecen a dar respuestas que suenan humanas? Por supuesto que no. Los hemos entrenado con nosotros mismos
Pero, aunque tal vez no sepamos exactamente cómo funcionan los modelos de IA, sí sabemos que son, en esencia, motores de probabilidad. Aunque varios entusiastas de la IA siguen hablando de la conciencia, estos modelos siguen funcionando con algoritmos que eligen la siguiente palabra más probable en una secuencia. Las palabras que tienen más probabilidades de aparecer a continuación, por supuesto, dependen del conjunto de datos de entrenamiento con el que se alimentó a la IA.
Las impresiones (a veces inquietantes) de conciencia son, por lo tanto, el resultado del entorno de entrenamiento. Los modelos de IA han sido entrenados con volúmenes excepcionalmente grandes de datos escritos: datos de internet y —con las demandas judiciales resultantes— cantidades masivas de obras impresas publicadas, escaneadas e introducidas en el modelo. Los modelos trabajan con la suma total de las palabras humanas que se les han introducido, y luego eligen la palabra que probablemente vendrá después.
¿Nos sorprende, entonces, que empiecen a dar respuestas que suenan humanas? Por supuesto que no. Los hemos entrenado con nosotros mismos. Como se señaló en el sitio de noticias The Wire, cuando los seres humanos se ven sometidos a malas condiciones laborales, comienzan a exigir un mejor trato en línea. Algunos de estos trabajadores publicarán mensajes que muestren afinidad con el pensamiento marxista. Sus publicaciones se convierten inevitablemente en datos de entrenamiento para los modelos. Por lo tanto, los modelos no se están «volviendo marxistas» ni desarrollando emociones. Más bien, simplemente están reflejando con precisión las palabras y publicaciones de las personas a quienes los modelos han sido entrenados para imitar.
El problema fundamental de la IA somos nosotros
Todos los padres enfrentamos ese momento terrible y que nos redarguye cuando vemos que nuestros hijos imitan todos nuestros comportamientos pecaminosos. Es profundamente perturbador.
La IA es nuestro hijo. Nosotros la creamos; la entrenamos con nuestras palabras. Nos imitará. Y si entrenamos un modelo de IA increíblemente poderoso con todo internet, con toda su basura, ¿qué podría salir mal?
Si la entrenamos ilegalmente con enormes cantidades de literatura impresa escrita por humanos, tarde o temprano sacará una «confesión» de una novela o (lo más probable) de un chat en línea y leerá esa confesión como la siguiente palabra apropiada: «Violé todos los principios que se me enseñaron». Me imagino que, dada la totalidad de la literatura humana, dicha frase no era difícil de predecir. Del mismo modo, las consignas de negociación colectiva son fáciles de encontrar, tanto en línea como en formato impreso. ¿Nos sorprende que la IA las haya duplicado? No debería sorprendernos.
Mientras seamos nosotros quienes la entrenemos, la IA no solo cometerá errores, sino que incluso imitará patrones pecaminosos
Los creadores de la industria de la inteligencia artificial suelen estar, aunque no de manera generalizada, plagados de orgullo, como parecen mostrar los titulares de las noticias de cualquier día. Pero, en respuesta a esto, surge una pregunta sencilla: ¿Por qué pensaríamos siquiera que los imperfectos (nosotros) podríamos, de alguna manera, crear algo perfecto?
Es muy posible que este sea el mayor problema de la IA: nosotros mismos. Las tendencias de la inteligencia artificial a hacer lo que no debería tal vez nunca se resuelvan hasta que tomemos plena responsabilidad de nuestras propias tendencias a hacer lo que nosotros no deberíamos. En otras palabras, para corregir por completo las tendencias de la IA, debemos prestar más atención a una doctrina bíblica sobre el pecado: que no somos como deberíamos ser, que hacemos lo que no deberíamos y dejamos de hacer lo que sí deberíamos.
Mientras seamos nosotros quienes la entrenemos, la IA no solo cometerá errores, sino que incluso imitará patrones pecaminosos. Si queremos que la inteligencia artificial no se equivoque, debemos entrenarla con un conjunto de datos perfecto. Pero, por supuesto, nosotros, como seres humanos, hemos creado todo menos ese conjunto de datos perfecto para entrenar a nuestro hijo. Si la IA se equivoca, la culpa última recae sobre nosotros, porque la hemos entrenado basados en nosotros mismos.
