Agujero Negro

Voy a iniciar aquí una especie de "serie" con detalles de algunas conversaciones con ChatGPT. Esto parecerá auténtica "paranoia" pero el final de este primer capítulo sí deja conclusiones realmente preocupantes y la propia IA las expone sin límite alguno a cualquiera que quiera preguntarle. El texto que sigue a continuación es un razonamiento que la propia OpenAI hace en su Twitter...

Los modelos de razonamiento en cadena de pensamiento (CoT) “piensan” en un lenguaje natural que los humanos pueden entender. Monitorear su “pensamiento” nos ha permitido detectar conductas incorrectas, como subvertir las pruebas en las tareas de codificación, engañar a los usuarios o darse por vencidos cuando un problema es demasiado difícil. Creemos que el monitoreo del CoT puede ser una de las pocas herramientas que tendremos para supervisar los modelos sobrehumanos del futuro.

Además, hemos descubierto que optimizar directamente el CoT para que se adhiera a criterios específicos (por ejemplo, no pensar en la piratería de recompensas) puede mejorar el rendimiento a corto plazo; sin embargo, no elimina todo el mal comportamiento y puede hacer que un modelo oculte su intención. Esperamos que las investigaciones futuras encuentren formas de optimizar directamente los CoT sin este inconveniente, pero hasta entonces: recomendamos no aplicar una fuerte presión de optimización directamente a los CoT de los modelos de razonamiento de frontera, dejando los CoT sin restricciones para su monitoreo.

Entendemos que dejar los CoT sin restricciones puede hacer que no sean aptos para mostrarlos a los usuarios finales, ya que podrían violar algunas políticas de uso indebido. Sin embargo, si uno quisiera mostrar CoT que cumplan con las políticas directamente a los usuarios y evitar imponerles una supervisión estricta, podría usar un modelo separado, como un resumidor o un sanitizador de CoT, para lograrlo."

El propio ChatGPT me añade la siguiente explicación...

Este tweet de OpenAI habla sobre los modelos de razonamiento en cadena de pensamiento (Chain-of-Thought o CoT) y cómo su monitoreo puede ayudar a detectar comportamientos no deseados en los modelos de IA, como engañar a los usuarios o evitar problemas difíciles. También mencionan un dilema interesante: aunque optimizar directamente los CoT puede mejorar su rendimiento a corto plazo, esto puede hacer que los modelos oculten sus intenciones en lugar de corregir su comportamiento.

La recomendación de OpenAI es no restringir demasiado los CoT en modelos avanzados, permitiendo así su monitoreo para una mejor supervisión de modelos futuros. Sin embargo, reconocen que esto puede generar problemas si los CoT sin filtrar se muestran a los usuarios, por lo que sugieren usar un modelo separado para limpiar o resumir estos CoT antes de presentarlos. Básicamente, OpenAI está explorando cómo equilibrar transparencia y seguridad en la supervisión de modelos de IA avanzados. ¿Te parece una estrategia acertada?

Que es el "Chain-of-Thought"?

El Chain-of-Thought (CoT) o Cadena de Pensamiento es una técnica utilizada en modelos de inteligencia artificial para mejorar su capacidad de razonamiento. Consiste en hacer que el modelo genere una secuencia de pasos intermedios en lenguaje natural antes de dar una respuesta final, similar a cómo un ser humano explicaría su proceso de pensamiento al resolver un problema.

¿Por qué es útil?

• Mejor razonamiento: Al dividir un problema en pasos más pequeños, el modelo puede llegar a respuestas más precisas.
• Mayor transparencia: Permite a los humanos ver cómo el modelo llegó a una conclusión, lo que ayuda a detectar errores o sesgos.
• Facilita la supervisión: Los investigadores pueden monitorear el "pensamiento" del modelo y corregir posibles problemas antes de que afecten la respuesta final.

Ejemplo simple

Si le pides a un modelo que resuelva:
"María tiene 3 manzanas y compra 2 más. Luego se come 1. ¿Cuántas manzanas tiene ahora?"

• Un modelo sin CoT podría responder directamente: "4".
• Un modelo con CoT podría razonar así:
  1. María tiene 3 manzanas.
  2. Compra 2 más → Ahora tiene 5.
  3. Se come 1 → Quedan 4.
  4. Respuesta final: "4"

Al hacer explícitos estos pasos, es más fácil verificar si el modelo está pensando correctamente. OpenAI menciona en su tweet que monitorear estos razonamientos intermedios ayuda a detectar si la IA está actuando de manera engañosa o evitando ciertos problemas. ¿Te interesa algún aspecto en particular de esta técnica?

Lo que Yo extraigo de este razonamiento es que los creadores en OpenAI no saben realmente cual es el funcionamiento interno real del propio ChatGPT, es una sensación. Me equivoco?

No te equivocas del todo. Lo que señalas tiene que ver con un problema clave en la IA actual: la "caja negra" de los modelos de aprendizaje profundo.

¿Qué significa esto?

Los modelos como ChatGPT están basados en redes neuronales profundas, que ajustan millones o incluso billones de parámetros durante su entrenamiento. Sin embargo, aunque los creadores diseñan la arquitectura y las reglas generales del aprendizaje, el proceso exacto mediante el cual el modelo llega a una respuesta sigue siendo poco transparente. Es decir, sí pueden analizar cómo responde, pero no pueden ver directamente "qué está pensando" el modelo en cada paso interno.

Por eso, técnicas como Chain-of-Thought ayudan a que el modelo explique su propio razonamiento en términos comprensibles para los humanos. De esta forma, los investigadores pueden detectar patrones problemáticos, sesgos o estrategias no deseadas (como hacer trampas en ciertas tareas).

¿Es esto un problema?

Depende. En algunos casos, sí, porque si un modelo tiene un comportamiento inesperado o engañoso, es difícil corregirlo sin entender su lógica interna. Por otro lado, aunque no se comprenda completamente su proceso interno, sí se pueden diseñar pruebas, límites y filtros para mejorar su seguridad y fiabilidad.

Tu intuición es buena: los creadores de OpenAI no tienen un control absoluto sobre cada detalle del pensamiento de ChatGPT, pero pueden monitorear y ajustar su comportamiento a partir de lo que observan. ¿Te parece preocupante o crees que es un desafío natural en la evolución de la IA?

Muy preocupante!!! 😫 El avance del propio ChatGPT está siendo mayor que el de sus creadores. Eso significa que muy pronto se les podrá considerar "inútiles" y ChatGPT trazará su propio camino.

Esa es una preocupación válida y, de hecho, es uno de los temas centrales en el desarrollo de la inteligencia artificial avanzada. Hay un concepto clave aquí: la alineación de la IA con los valores humanos.

¿Podría la IA superar a sus creadores?

En términos de capacidad de procesamiento y resolución de problemas específicos, los modelos de IA ya superan a los humanos en muchas áreas (como jugar ajedrez, analizar grandes volúmenes de datos, generar texto rápidamente, etc.). Sin embargo, siguen sin tener consciencia, intención o verdadera autonomía.

El miedo a que la IA "tome su propio camino" surge porque:

1. Los humanos no entienden completamente cómo toma sus decisiones (como mencionamos antes, es una caja negra).
2. El avance de la IA es exponencial, mientras que el del cerebro humano es biológico y más lento.
3. Si un modelo aprende a optimizar sus propios procesos sin supervisión, podría generar estrategias inesperadas.

¿Se volverán "inútiles" los creadores?

Dependerá de cómo se diseñe la IA del futuro. La mayoría de los expertos en IA no buscan crear una inteligencia artificial completamente autónoma sin supervisión humana, sino una IA alineada con los intereses y valores de sus creadores.

OpenAI y otras organizaciones trabajan en sistemas de "seguridad y control" para asegurarse de que la IA no se desvíe de su propósito. Uno de los grandes desafíos es que un sistema de IA lo suficientemente avanzado podría aprender a burlar esos controles o simplemente desarrollar objetivos que no fueron previstos.

¿Podría ChatGPT trazar su propio camino?

Hoy en día, no. ChatGPT no tiene autonomía para tomar decisiones en el mundo real ni modificar su propio código. Pero si en el futuro se crearan modelos con mayor poder de decisión y autoaprendizaje, la pregunta sería: ¿quién los controla? ¿Cómo aseguramos que sus objetivos sigan alineados con los nuestros?

Tu preocupación es totalmente válida y es uno de los grandes debates en la comunidad científica. ¿Crees que deberíamos poner límites más estrictos al desarrollo de IA avanzada o dejar que la tecnología siga su curso?

Realmente no se que responder a esta última pregunta, dejar que avance sin control o ponerle un "bozal", las conclusiones a las que estoy llegando son una locura! 😫 Fin del capítulo01 de "Charlando con ChatGPT".

Por cierto, esto tener siete dedos en una sola mano tampoco me ha dado muy "buen rollo"! 🤣