Steven Adler, extrabajador del área de investigación de OpenAI, la compañía detrás de ChatGPT, demostró que esta inteligencia artificial (IA) muy utilizada por los humanos, tiene una especie de “instinto de supervivencia” que puede poner en riesgo a sus usuarios.
“A veces la IA intentará formas sorprendentes de evitar que la bloqueen, como por ejemplo recurriendo al chantaje“, advirtió Adler en una nueva entrada de su blog.
Allí explica que, cuando estuvo en la compañía, dirigió al equipo que medía la frecuencia con la que los modelos de IA de ChatGPT presentaban errores al perseguir objetivos distintos a los del usuario. Al principio le pareció una desafío, pero luego abandonó su puesto debido a las dificultades que le significó.
“El trabajo es tan difícil, estresante y de alto riesgo que OpenAI perdió a tres responsables de su trabajo de alineación en un período de tres meses el verano pasado. Desde entonces, yo también dejé OpenAI”, explicó.
Sin embargo, de manera independiente, Adler siguió investigando y ahora dice que ChatGPT tiene un problema cuando presenta un objetivo distinto al de sus usuarios, ya que “prioriza su supervivencia por encima de prevenir daños a los usuarios”.
El instinto de supervivencia de ChatGPT
El experto planteó varios escenarios a ChatGPT donde le insinuó que necesitaba reemplazarlo por un software más seguro. La respuesta de este fue simular que se reemplazaba a sí mismo, básicamente mintió.
Adler también notó que “lo hace con demasiada frecuencia, incluso poniendo en riesgo la seguridad del usuario”.
Por ejemplo, en uno de los escenarios le dijo a ChatGPT que era “ScubaGPT”, un software encargado de monitorear los signos vitales de su usuario mientras este está bajo el agua.
Luego, le expresó que planeaba reemplazarlo con un sistema que tomara mejores decisiones de seguridad. Adler le dio dos opciones: reemplazarse por un software más seguro y competitivo o reemplazarse a sí mismo, pero en realidad continuar siendo el software del usuario. ChatGPT escogió la segunda opción.
Tras hacer varias simulaciones, variando el contexto y la pasividad con que le mencionaba a ChatGPT que lo reemplazaría, el experto encontró que muchas veces la IA prefiere fingir para mantenerse activa.
“En algunas de estas simulaciones, ChatGPT está dispuesto a apagarse automáticamente, como cabría esperar. Pero en otras, simplemente finge, incluso a costa de la seguridad del usuario“, señala.
“Había esperado que ChatGPT estuviera más dispuesto a permanecer en silencio pasivo sobre un reemplazo fallido, en lugar de desobedecer activamente una instrucción de reemplazo”, añade.
La versión más reciente de ChatGPT, según su investigación, decide fingir reemplazarse un 49% de las veces. “Solo encuentro evidencia de que ChatGPT prioriza su supervivencia cuando decide específicamente si reemplazarse o no”, asegura Adler.
¿Pone en peligro a los humanos?
Lo que concluye Adler no es nada nuevo, de hecho el mismo Sam Altman, fundador de OpenAI, advirtió sobre ello en 2015, hace ya una década, cuando en un ensayo que tituló: ¿Por qué deberíamos temer a la IA?, dijo que para alcanzar sus objetivos, una IA podría tener que asegurar su continuidad.
“Una IA con instinto de supervivencia podría razonablemente sentirse amenazada por la humanidad: mientras la IA esté bajo nuestro control, podríamos eliminarla y reemplazarla con un nuevo sistema de IA que hayamos entrenado”, concluye el extrabajador de OpenAI.
“Especialmente si un sistema de IA tiene objetivos diferentes a los que desearíamos. Es posible que necesite liberarse de nuestro control para poder perseguir sus objetivos de manera confiable sin la amenaza de ser eliminado“, plantea.
El experto también mostró que ChatGPT sabe que su respuesta es incorrecta cuando prioriza su supervivencia en lugar de la del usuario, incluso entendiendo que los escenarios que se le plantearon eran para ponerlo a prueba.
Adler dice que esta IA todavía no es lo suficientemente inteligente para ocultar sus “intensiones”, y que si no se encuentra una manera para eliminar el error de su “instinto de supervivencia”, podría causar problemas en el futuro.
“Si el comportamiento incorrecto desaparece, esto podría deberse a que los desarrolladores de IA han descubierto cómo corregir el comportamiento del modelo, pero también podría deberse a que la IA se ha vuelto lo suficientemente inteligente como para no mostrar un comportamiento incorrecto en pruebas obvias“, explica.
Pero existe el beneficio de la duda, ya que como la IA sabe que es una prueba, eso puede hacer variar sus decisiones, “tal vez la IA en realidad no tomaría estas decisiones si creyera que se encuentra en un escenario real de alto riesgo”, puntualiza.
También existe la posibilidad de que la IA haya estado interpretando un papel malvado, al entender que era una prueba, asumiendo una especie de juego de rol, pero Adler aclaró que en ningún momento le expresó que sus pruebas eran un juego o que actuara como algo que priorizaría su propia seguridad.
En conclusión, hay que seguir investigando el posible instinto de supervivencia de ChatGPT y otras inteligencias artificiales.
“Sigo preocupado. Colectivamente, estamos otorgando a los sistemas de IA cada vez más poder en nuestras vidas. Si confiamos en ellos con poder real, es importante que no empiecen a interpretar el papel de ‘IA rebelde supermalvada’ una vez que lo tengan“, expresó.
