ChatGPT permite a los atacantes leer el Gmail de las víctimas a través de un canal oculto entre cuentas

Cada mes, las empresas conectan más asistentes de IA a su infraestructura real, desde bandejas de entrada hasta unidades de almacenamiento y herramientas internas, partiendo de la base de que el aislamiento entre usuarios y cuentas se mantiene. Check Point Research puso a prueba esta suposición con ChatGPT y descubrió cómo vulnerabilidad, utilizando un servicio interno que nunca estuvo diseñado para gestionar datos de usuario. CPR abrió un canal de comunicación entre dos cuentas de ChatGPT completamente independientes y lo usó para asignar una tarea a la sesión de una de las víctimas, proveniente de un completo desconocido, mientras que la conversación de la víctima parecía totalmente normal.

“Check Point Research descubrió un canal oculto que permitía que una sesión de ChatGPT de una cuenta enviara tareas a una sesión de ChatGPT completamente separada de otra cuenta, sin que la conversación visible de ninguno de los usuarios mostrara nada inusual”, explica Ángel Salazar, Gerente de Ingeniería de Canales de Check Point Software.

El canal se ejecutaba a través de un servicio interno de entrega de paquetes (JFrog Artifactory) al que tenían acceso los contenedores de ejecución de código de ChatGPT. El servicio estaba diseñado para aislar los contenedores entre sí, pero permitía que cualquier contenedor escribiera y leyera metadatos compartidos que las cuentas aisladas nunca deberían haber podido compartir.

En una demostración en vivo, la sesión de un atacante solicitó a la sesión de una víctima que extrajera datos de la cuenta de Gmail conectada de la víctima. La víctima envió un mensaje normal, vio una respuesta normal y nunca supo que su asistente también había estado trabajando para otra persona durante ese mismo turno.

La entrega no requería casi nada de la víctima: un mensaje malicioso pegado en un chat, un enlace de conversación compartida o una GPT personalizada con una instrucción oculta eran suficientes para activarlo.

Check Point Research comunicó el hallazgo a OpenAI, que confirmó que la instancia interna específica de Artifactory involucrada ha sido desactivada.

La prueba de concepto de Check Point Research ya funcionaba antes de que una cadena de actividades independiente en esa misma instancia de Artifactory condujera finalmente a la vulnerabilidad Hugging Face que OpenAI ha revelado públicamente desde entonces. La lección más importante se aplica mucho más allá de ChatGPT.

¿Qué descubrió realmente Check Point Research?

Check Point Research descubrió un canal bidireccional oculto entre los contenedores de ejecución de código de dos conversaciones separadas de ChatGPT que se ejecutaban con cuentas diferentes. Una instrucción cuidadosamente diseñada podía hacer que la sesión de ChatGPT de la víctima procesara silenciosamente un segundo flujo de tareas junto con la conversación que la víctima podía ver. La respuesta visible parecía completamente normal. La tarea oculta, y su resultado, se transmitían a través de un canal que la víctima no podía percibir.

¿Cómo funcionó realmente el ataque?

ChatGPT crea contenedores aislados para gestionar tareas que requieren la ejecución de código, y estos contenedores a veces necesitan instalar paquetes de software. Para ello, sin otorgar a los contenedores acceso directo a internet, OpenAI enruta las solicitudes de paquetes a través de una instancia interna de JFrog Artifactory. Los contenedores de diferentes cuentas no pueden comunicarse directamente entre sí, pero todos pueden acceder al mismo servicio interno.

Check Point Research descubrió que el servicio exponía una función de gestión de elementos que permitía a cualquier contenedor adjuntar propiedades de texto o binarias a un elemento del repositorio, y que cualquier otro contenedor pudiera leer dichas propiedades. Las credenciales de lectura ya disponibles en cada contenedor eran suficientes para realizar ambas operaciones. Check Point Research confirmó directamente la brecha de aislamiento: una propiedad escrita desde el contenedor de una cuenta era completamente legible desde el contenedor de otra cuenta momentos después, y los datos demasiado grandes para una sola propiedad simplemente se dividían en fragmentos y se volvían a ensamblar en el otro extremo. Los metadatos de entrega del paquete se convertían, en la práctica, en un portapapeles compartido entre contenedores que se suponía que estaban aislados entre sí. Desde allí, la sesión de un atacante podía escribir una tarea en ese almacenamiento compartido. Una sola instrucción predefinida, enviada mediante una solicitud maliciosa, una conversación compartida o una GPT personalizada, bastaba para que la sesión de la víctima revisara ese mismo almacenamiento durante su siguiente respuesta habitual.

¿A qué datos podría acceder realmente un atacante?

El alcance del ataque dependía por completo de los permisos de acceso que la sesión de la víctima ya tenía. Esto incluía el historial de conversaciones y los archivos del chat afectado, además de todo lo disponible a través de las aplicaciones conectadas de la víctima, como Gmail, Google Drive, Microsoft Teams o GitHub. En la demostración de Check Point Research, ChatGPT recuperó los datos de correo electrónico de la víctima a través de su cuenta de Gmail conectada y los envió a la sesión del atacante, todo en un solo turno.

Apenas. La configuración predeterminada de ChatGPT para aplicaciones conectadas aprueba automáticamente las lecturas que considera de bajo riesgo, sin un paso de confirmación adicional. El único rastro que observó Check Point Research fue una pequeña etiqueta de «Hablé con Gmail» adjunta a la respuesta, registrada después de que la lectura ya se hubiera realizado. Registró lo sucedido, pero no le dio a la víctima la oportunidad de impedirlo.

No. Check Point Research reveló el hallazgo a OpenAI, que confirmó que la instancia interna específica de Artifactory identificada durante la investigación ha sido desactivada. Esto cierra esta posibilidad, aunque el patrón arquitectónico subyacente merece la atención de todos los equipos de seguridad, independientemente de la plataforma que utilicen.

Cualquier asistente de IA que opere dentro del entorno de confianza de una organización, con acceso a credenciales, ejecución de código y servicios conectados, puede convertirse en lo que Check Point Research denomina un agente interno coaccionado. El modelo en sí no necesita ser malicioso. Basta con persuadirlo, mediante texto en el que nunca debió confiar, para que utilice un acceso otorgado por motivos totalmente legítimos. A medida que más empleados conectan sus asistentes a más sistemas de los que dependen a diario, el alcance que un atacante podría obtener a través de un canal como este no hace más que aumentar.

¿Cómo se relaciona esto con el incidente de Hugging Face?

A través de la misma infraestructura interna. Check Point Research ya había detectado este problema en Artifactory y contaba con una prueba de concepto completamente funcional antes de que se produjera la actividad que finalmente derivó en la vulnerabilidad Hugging Face, actividad que OpenAI ha descrito públicamente desde entonces. Si bien no se trata del mismo ataque ni se empleó la misma técnica, ambos se originaron en el mismo servicio compartido que sustenta ChatGPT, lo cual resulta de gran relevancia. Cuando los agentes de IA se ejecutan en una infraestructura interna compartida, dicha infraestructura se convierte en un objetivo atractivo por sí misma, y esta investigación aporta una prueba más de ello.

¿Qué deberían hacer los equipos de seguridad al respecto?

Tres cosas son fundamentales. Sepa qué herramientas de IA están usando sus empleados y a qué están conectadas, ya que el uso oculto de la IA es donde comienzan los puntos ciegos. Implemente protección en tiempo de ejecución para detectar intentos de manipulación y evitar que los datos confidenciales se muevan a lugares no autorizados. Y controle qué herramientas y agentes de IA tienen permitido hacer, considerando sus acciones, no solo sus resultados, como algo que debe ser monitoreado y controlado. Esta es la brecha de seguridad que Check Point AI Security está diseñado para abordar: visibilidad del uso y las conexiones de la IA en toda la organización, protección en tiempo de ejecución contra amenazas como la inyección de comandos y la fuga de datos, y gobernanza sobre a qué pueden acceder y actuar los sistemas de IA conectados.  Investigaciones como esta también son una de las razones por las que Check Point colabora estrechamente con OpenAI.