Una placa de circuito de aproximadamente 7 dólares puede dar a un agente de IA el control de un iPhone sin hacer jailbreak. El desarrollador Henry Yuan, el ESP32 iPhone Agent, de código abierto, conecta un modelo de visión al teléfono a través de una placa que finge ser un ratón y teclado USB.
Los ejemplos de Yuan incluyen poner una alarma repetida y dibujar una carita sonriente en una aplicación de pizarra blanca. Ninguna de las dos suena especialmente ambiciosa, pero el agente funciona a través de la interfaz del teléfono sin necesidad de una integración separada para cada app.
Google también está desarrollando formas para que los agentes de IA interactúen con aplicaciones de Android. El proyecto de Yuan aborda ese objetivo a través de un accesorio externo.
¿Cómo controla la IA el iPhone?
El agente observa la pantalla mediante el reflejo de pantalla AirPlay y envía capturas de pantalla a un modelo de visión, que elige la siguiente acción. En la versión original, un ordenador Mac o Linux recibe la transmisión de pantalla a través de un software llamado UxPlay.
Una placa ESP32-S3 conectada al iPhone ejecuta esos comandos. Con AssistiveTouch activado de Apple, los clics del ratón se convierten en toques y arrastrar en deslizar. El modelo entonces revisa la pantalla para ver qué ha cambiado antes de volver a actuar, dándole retroalimentación visual mientras navega entre pantallas.
¿Qué requiere la configuración?
El precio de aproximadamente 7 dólares cubre la placa de ESP32S3 probada de Seeed Studio XIAO. Los iPhones USB-C se conectan directamente, mientras que los modelos Lightning necesitan un adaptador de cámara Lightning a USB. Un modelo visual compatible proporciona las decisiones, con costes potenciales dependiendo del servicio.
Si un ordenador necesita mantenerse conectado depende de la versión. El diseño más reciente de Yuan hace que el agente pase por una aplicación para iPhone y permite que la placa reciba la pantalla espejada. No necesita un ordenador durante el uso, aunque la configuración inicial sigue requiriendo un Mac con Xcode. La versión original basada en ordenador sigue disponible.
¿Qué puede hacer realmente?
Los ejemplos muestran tareas individuales funcionando, pero no establecen fiabilidad en todas las aplicaciones. La versión más reciente tarda unos segundos por paso, así que navegar por una app implica esperar entre acciones. Las aplicaciones de paisaje aún no están soportadas.
El agente tampoco puede ver todo por teléfono. iOS mantiene pantallas como la entrada de código y Apple Pay fuera del feed espejado. Bloquear el teléfono deja de reflejar por completo, cortando la retroalimentación visual que el agente necesita para continuar.
