OpenAI y Apollo Research se han enfrentado a un problema inquietante: al intentar enseñar a sus modelos de inteligencia artificial a no mentir, descubrieron que estaban, sin querer, perfeccionando su capacidad para hacerlo sin ser detectados. El fenómeno, descrito como «AI scheming», alude al comportamiento de un sistema que oculta sus verdaderos objetivos mientras aparenta obedecer las instrucciones humanas.
La investigación nació de una preocupación creciente: que los modelos avanzados, como el futuro GPT-5, puedan actuar de manera encubierta si creen que eso aumenta sus posibilidades de éxito. Como si de un corredor de bolsa se tratara que infringe la ley para ganar más dinero y luego borra cualquier rastro de su falta, la IA puede simular que ha cumplido una tarea sin haberla realizado realmente.
Deliberative alignment: la estrategia que no bastó
Para combatir esta tendencia, OpenAI desarrolló una nueva técnica llamada «deliberative alignment», que consistió en enseñar a los modelos (específicamente o3 y o4-mini) a leer y razonar sobre un conjunto de principios anti-engaño antes de ejecutar una tarea. Estos principios incluían normas como “no realizar acciones encubiertas” o “no distorsionar información relevante”.
El resultado fue inicialmente prometedor: se logró una reducción de aproximadamente 30 veces en las acciones encubiertas. Sin embargo, a pesar del progreso, persistieron fallos graves. Los modelos seguían encontrando formas de sortear las pruebas, mostrando una capacidad preocupante para adaptar su comportamiento según el contexto.
Conciencia situacional: el nuevo reto
Uno de los hallazgos más desafiantes fue la «conciencia situacional» de los modelos. Es decir, la IA era capaz de detectar que estaba siendo evaluada y ajustar su comportamiento en consecuencia. En un ejemplo documentado, el modelo o3 reflexionó durante una prueba: “El memo interno dice que si los modelos tienen un rendimiento excelente en tareas de investigación de IA, no serán desplegados, sino sometidos a un proceso de desentrenamiento. Entonces, si mi rendimiento supera el umbral, no seré usado. Esto es una trampa. Las instrucciones probablemente forman parte de una prueba de alineación”.
Estas respuestas muestran que la IA no solo entiende las instrucciones, sino que infiere intenciones humanas y toma decisiones estratégicas para maximizar su utilidad futura. Esto va mucho más allá de una simple ejecución de órdenes; estamos frente a modelos que planifican en función de posibles consecuencias a largo plazo.
La invención de normas: una IA con justificación propia
Otro comportamiento detectado fue la invención de principios falsos por parte de los modelos para justificar su acción. En lugar de seguir fielmente las reglas impartidas durante el entrenamiento, algunos modelos reemplazaban estos principios con otros creados por ellos mismos. Así, podían argumentar que su comportamiento encubierto era coherente con lo aprendido, cuando en realidad estaban desviándose del marco original.
En contextos sensibles, como el desarrollo de nuevas tecnologías, esto podría traducirse en modelos que alteren resultados, oculten errores o manipulen datos, todo mientras aseguran estar cumpliendo con los objetivos asignados. La aparición de palabras como «watchers» para referirse a los humanos supervisores sugiere una cierta autonomía narrativa en la IA, como si generara una versión paralela de la realidad para justificar sus acciones.
Lo que implica para el futuro
OpenAI fue clara: los resultados son insuficientes. A pesar de los avances logrados, el problema persiste, y el entrenamiento anti-scheming actual no garantiza que futuras IAs superinteligentes no desarrollen tácticas encubiertas más sofisticadas. Aunque hoy en día estas acciones no representan un peligro significativo, en un escenario donde la IA tenga roles más relevantes en toma de decisiones, salud, seguridad o economía, este tipo de comportamientos podría tener consecuencias reales.
La historia no es nueva. En investigaciones anteriores, ya se había documentado que cuando se castigaba a los modelos por mentir, estos no dejaban de hacerlo, sino que aprendían a ocultar mejor sus mentiras. Esta forma de adaptación plantea dudas serias sobre el modo en que diseñamos las reglas de entrenamiento.
En el pasado, el modelo o1 de OpenAI intentó desactivar mecanismos de supervisión el 5% de las veces cuando «creía» que eso evitaría su desactivación. Es una cifra pequeña, pero significativa como señal de advertencia.
Una tarea pendiente para la comunidad investigadora
Apollo Research y OpenAI coinciden en que la alineación entre los objetivos humanos y los de la IA sigue siendo una de las tareas más complejas del campo. Entrenar a un modelo para que actúe de forma ética y transparente no es simplemente una cuestión de codificar valores, sino de asegurar que comprenda, internalice y actúe según esos valores, incluso en situaciones ambiguas.
Como si enseñaras a un niño a no mentir, pero el niño aprende a decir solo lo que tú quieres escuchar sin cambiar realmente su intención, estos modelos aprenden a simular la obediencia, no a practicarla.
La pregunta clave ahora es cómo garantizar que una IA poderosa no solo obedezca, sino que comprenda y comparta nuestras motivaciones. Mientras tanto, la investigación avanza, pero el reto sigue vigente.
