Cuando OpenAI lanzó Codex para (casi) todo, el mundo tecnológico se fijó en él. La IA lleva años escribiendo código y redactando correos, pero la afirmación de que Codex ya puede manejar macOS —“viendo, haciendo clic y escribiendo con su propio cursor”— representa una capacidad fundamentalmente distinta.
Tender el puente entre un modelo de lenguaje en la nube y un sistema operativo local es notoriamente difícil. Durante décadas, la automatización dependió de frágiles Interfaces de Programación de Aplicaciones (API) o de scripts de raspado del DOM que se rompen en cuanto cambia un elemento de la interfaz.
La idea central de ingeniería: Codex ha abandonado la integración a nivel de código en favor de la ejecución a nivel de píxeles. Al combinar la visión multimodal con la inyección de eventos del kernel a bajo nivel, OpenAI ha convertido la Interfaz Gráfica de Usuario (GUI) en una API universal.
Esta es la arquitectura técnica que lo hace posible.
La arquitectura de un agente nativo de Mac
Para que una IA pueda probar una aplicación o iterar sobre un diseño de interfaz sin intervención humana, necesita un bucle continuo de Percepción-Razonamiento-Acción. Así es como Codex probablemente implementa cada etapa en macOS.
1. Percepción: visión semántica y el motor de anclaje
Las herramientas de automatización tradicionales como AppleScript leen el árbol de accesibilidad de la interfaz. Este enfoque es rápido pero falla en aplicaciones Electron personalizadas, lienzos web o juegos, donde los elementos de la interfaz carecen de etiquetas de accesibilidad adecuadas.
OpenAI afirma que Codex usa las aplicaciones “viéndolas”, lo que significa que se apoya en la Visión por Computadora. La aplicación anfitriona que se ejecuta en el Mac toma capturas de fotogramas del escritorio a alta frecuencia. Un modelo multimodal analiza luego estos fotogramas mediante segmentación semántica: no busca etiquetas HTML, sino que reconoce visualmente la forma y el contexto de los elementos de la interfaz, como botones, barras de búsqueda y menús.
El principal desafío de ingeniería aquí es el Anclaje (Grounding). Una vez que la IA identifica un objetivo, ejecuta un cálculo para mapear el objeto semántico a coordenadas de píxel precisas en la pantalla. Traduce “haz clic en el botón de cerrar” en posiciones exactas (x, y), ajustando la resolución específica de la pantalla y el factor de escala.
| Etapa | Qué ocurre | Tecnología |
|---|---|---|
| Captura de fotogramas | Capturas de pantalla del escritorio a alta frecuencia | Aplicación anfitriona |
| Análisis semántico | Identifica elementos de la interfaz por apariencia visual, no por código | Modelo de visión multimodal |
| Anclaje | Mapea objetivos semánticos a coordenadas de píxel | Modelo de regresión de coordenadas |
| Despacho de acciones | Inyecta eventos de entrada sintetizados en el sistema | Hooks del marco del sistema |
2. Acción: inyección de eventos a nivel de sistema
Saber dónde hacer clic solo es útil si el software puede realmente desencadenar la acción. Codex ignora por completo el hardware físico.
Para interactuar con macOS a un nivel nativo, Codex casi con seguridad recurre a los marcos de sistema más profundos de Apple: Quartz Event Services y la Accessibility API.
Cuando Codex decide hacer clic, sintetiza un CGEvent virtual —un mouseDown seguido de un mouseUp— y lo inyecta directamente en la cola de eventos del sistema de macOS. Desde la perspectiva del sistema operativo, este evento sintético es indistinguible de una pulsación física del trackpad. Por eso Codex puede manejar cualquier aplicación: si un humano puede hacer clic en ello, Codex puede hacer clic en ello.
3. Aislamiento: la mecánica del “cursor fantasma”
Quizá la afirmación más ambiciosa desde el punto de vista técnico es que Codex se ejecuta “en segundo plano sin tomar el control de tu ordenador”. Cualquiera que haya usado una grabadora de macros sabe que la automatización tradicional secuestra el cursor del ratón por completo.
Para lograr una ejecución concurrente, el sistema debe aislar las entradas de la IA de las entradas físicas del usuario. Existen dos enfoques de implementación probables:
| Enfoque | Cómo funciona | Compromiso |
|---|---|---|
| Enrutamiento dirigido a la ventana | macOS permite enviar eventos a Identificadores de Proceso (PID) específicos. Codex enruta los clics sintetizados directamente al bucle de eventos de la aplicación objetivo, evitando el cursor de hardware global. | Menor sobrecarga; requiere un direccionamiento de ventana preciso. |
| Framebuffers virtuales | El sistema levanta una capa de escritorio virtual sin interfaz. Codex “ve” y opera dentro de este espacio de trabajo invisible mientras el usuario continúa trabajando en el espacio de trabajo principal sin ser molestado. | Mayor consumo de memoria; garantías de aislamiento más sólidas. |
El enfoque del framebuffer virtual coincide con la mecánica observada cuando Anthropic lanzó su propia capacidad de Computer Use, lo que sugiere que podría estar consolidándose como un patrón estándar de la industria para los agentes de IA de escritorio.
La perspectiva: un mundo post-API
El impacto indirecto va mucho más allá de la implementación técnica. Al resolver la cadena de visión-a-acción a nivel de sistema operativo, OpenAI ha vuelto opcionales a las API tradicionales. Estamos entrando en la era del Large Action Model (LAM).
Consideremos las implicaciones prácticas:
- Integración de software heredado: ¿Herramientas empresariales de 2008 sin API? Codex no necesita ninguna. Abre la aplicación, navega por la interfaz, copia los datos y los pega en un panel moderno.
- Restricciones de plataforma: ¿Plataformas que limitan el acceso de los desarrolladores mediante límites agresivos en la tasa de solicitudes de la API? Codex abre el navegador web y maneja la interfaz directamente, igual que haría un usuario humano.
- Flujos de trabajo entre aplicaciones: Las tareas que antes requerían middleware personalizado entre aplicaciones desconectadas ahora pueden orquestarse con una sola instrucción en lenguaje natural.
La industria del software lleva décadas construyendo puentes entre aplicaciones. Con Codex dominando la GUI de macOS, las aplicaciones ya no necesitan hablar entre sí. La IA las usa en nuestro nombre.
Preguntas frecuentes
¿Cómo “ve” Codex la pantalla en macOS?
Codex usa una aplicación anfitriona que captura capturas de pantalla del escritorio a alta frecuencia. Un modelo de visión multimodal realiza luego una segmentación semántica sobre estos fotogramas, identificando elementos de la interfaz como botones, menús y campos de texto a partir de su apariencia visual, y no del código subyacente ni de las etiquetas de accesibilidad.
¿Qué marcos de macOS usa Codex para simular clics y pulsaciones de teclas?
Codex probablemente se integra con Quartz Event Services y la Accessibility API de Apple. Sintetiza CGEvent virtuales (como mouseDown y mouseUp) y los inyecta en la cola de eventos del sistema de macOS, haciendo que estas entradas sean indistinguibles de los eventos de hardware físicos.
¿Cómo puede Codex operar en segundo plano sin secuestrar el cursor?
El sistema probablemente usa enrutamiento dirigido a la ventana —enviando eventos directamente a Identificadores de Proceso (PID) específicos— o framebuffers virtuales, que crean un espacio de trabajo de escritorio invisible donde la IA opera de forma independiente mientras el cursor físico del usuario no se ve afectado.
¿Qué es un Large Action Model (LAM) y en qué se diferencia de un LLM?
Un Large Action Model amplía las capacidades de un Large Language Model desde la generación de texto hasta la ejecución de tareas del mundo real. Mientras que un LLM genera respuestas, un LAM percibe su entorno a través de la visión, razona qué acciones emprender y ejecuta esas acciones mediante la inyección de entradas a nivel de sistema. Codex representa una implementación práctica del concepto de LAM.
Deja una respuesta