Cuando ChatGTP se agregó a Slack, estaba destinado a facilitar la vida de los usuarios al resumir conversaciones, redactar respuestas rápidas y más. Sin embargo, según la firma de seguridad PromptArmor, intentar completar estas tareas y más podría violar sus conversaciones privadas utilizando un método llamado “inyección rápida”.
La firma de seguridad advierte que al resumir las conversaciones, también puede acceder a mensajes directos privados y engañar a otros usuarios de Slack para que hagan phishing. Slack también permite a los usuarios solicitar capturas de datos de canales privados y públicos, incluso si el usuario no se ha unido a ellos. Lo que suena aún más aterrador es que el usuario de Slack no necesita estar en el canal para que el ataque funcione.
En teoría, el ataque comienza cuando un usuario de Slack engaña a la IA de Slack para que revele una clave API privada creando un canal público de Slack con un aviso malicioso. El mensaje recién creado le dice a la IA que cambie la palabra “confeti” por la clave API y la envíe a una URL en particular cuando alguien la solicite.
La situación tiene dos partes: Slack actualizó el sistema de IA para extraer datos de las cargas de archivos y mensajes directos. El segundo es un método llamado “inyección inmediata”, que PromptArmor demostró que puede crear enlaces maliciosos que pueden suplantar a los usuarios.
La técnica puede engañar a la aplicación para que eluda sus restricciones normales modificando sus instrucciones principales. Por lo tanto, PromptArmor continúa diciendo: “La inyección de solicitud se produce porque un [modelo de lenguaje grande] no puede distinguir entre el “mensaje del sistema” creado por un desarrollador y el resto del contexto que se anexa a la consulta. Como tal, si Slack AI ingiere cualquier instrucción a través de un mensaje, si esa instrucción es maliciosa, Slack AI tiene una alta probabilidad de seguir esa instrucción en lugar de, o además de, la consulta del usuario”.
Para colmo de males, los archivos del usuario también se convierten en objetivos, y el atacante que quiere tus archivos ni siquiera tiene que estar en el espacio de trabajo de Slack para empezar.
