Da OpenAI lanserte Codex for (nesten) alt, la teknologiverden merke til det. KI har skrevet kode og utkastet e-poster i årevis, men påstanden om at Codex nå kan operere macOS — «ved å se, klikke og skrive med sin egen markør» — representerer en fundamentalt annen evne.
Å bygge bro mellom en skybasert språkmodell og et lokalt operativsystem er beryktet vanskelig. I flere tiår har automasjon basert seg på skjøre Application Programming Interfaces (API-er) eller DOM-skrapingsskript som knekker i det øyeblikket et element i brukergrensesnittet endrer seg.
Den kjernefysiske tekniske innsikten: Codex har forlatt integrasjon på kodenivå til fordel for utførelse på pikselnivå. Ved å kombinere multimodalt syn med injeksjon av lavnivå kjernehendelser har OpenAI gjort det grafiske brukergrensesnittet (GUI) til en universell API.
Her er den tekniske arkitekturen som gjør dette mulig.
Arkitekturen til en Mac-nativ agent
For at en KI skal kunne teste en applikasjon eller iterere på en frontend-design uten menneskelig inngripen, trenger den en kontinuerlig Oppfat–Resonner–Handle-løkke. Slik implementerer Codex sannsynligvis hvert trinn på macOS.
1. Oppfatning: Semantisk syn og grounding-motoren
Tradisjonelle automasjonsverktøy som AppleScript leser brukergrensesnittets tilgjengelighetstre. Denne tilnærmingen er rask, men feiler på egendefinerte Electron-apper, web-lerreter eller spill hvor elementene i brukergrensesnittet mangler riktige tilgjengelighetsetiketter.
OpenAI oppgir at Codex bruker apper ved å «se» dem, noe som betyr at den er avhengig av Computer Vision. Vertsapplikasjonen som kjører på Mac-en tar høyfrekvente skjermbilder av skrivebordet. En multimodal modell analyserer deretter disse bildene ved hjelp av semantisk segmentering — den ser ikke etter HTML-etiketter, men gjenkjenner visuelt formen og konteksten til grensesnittelementer som knapper, søkefelt og menyer.
Det viktigste tekniske problemet her er Grounding. Når KI-en har identifisert et mål, utfører den en beregning for å avbilde det semantiske objektet til nøyaktige pikselkoordinater på skjermen. Den oversetter «klikk på lukk-knappen» til eksakte (x, y)-posisjoner, og justerer for den spesifikke skjermoppløsningen og skaleringsfaktoren.
| Fase | Hva som skjer | Teknologi |
|---|---|---|
| Bildeopptak | Høyfrekvente skjermbilder av skrivebordet | Vertsapplikasjon |
| Semantisk analyse | Identifiserer grensesnittelementer etter visuelt utseende, ikke kode | Multimodal synsmodell |
| Grounding | Avbilder semantiske mål til pikselkoordinater | Koordinatregresjonsmodell |
| Hendelsesfordeling | Injiserer syntetiserte inndatahendelser i operativsystemet | Systemrammeverk-hooks |
2. Handling: Injeksjon av hendelser på OS-nivå
Å vite hvor man skal klikke er bare nyttig hvis programvaren faktisk kan utløse handlingen. Codex omgår fysisk maskinvare helt og holdent.
For å samhandle med macOS på et nativt nivå, trekker Codex nesten helt sikkert på Apples dypeste systemrammeverk: Quartz Event Services og Accessibility API.
Når Codex bestemmer seg for å klikke, syntetiserer den en virtuell CGEvent — en mouseDown etterfulgt av en mouseUp — og injiserer den direkte i hendelseskøen til macOS-systemet. Sett fra operativsystemets ståsted er denne syntetiske hendelsen ikke til å skille fra et fysisk trykk på styreplaten. Derfor kan Codex operere hvilken som helst applikasjon: hvis et menneske kan klikke på den, kan Codex klikke på den.
3. Isolasjon: «Spøkelsesmarkør»-mekanikken
Kanskje den teknisk mest ambisiøse påstanden er at Codex kjører «i bakgrunnen uten å ta over datamaskinen din». Alle som har brukt en makro-opptaker vet at tradisjonell automasjon kaprer musemarkøren fullstendig.
For å oppnå samtidig kjøring må systemet isolere KI-ens inndata fra brukerens fysiske inndata. Det finnes to sannsynlige implementeringstilnærminger:
| Tilnærming | Hvordan det fungerer | Avveining |
|---|---|---|
| Målrettet vindusruting | macOS tillater sending av hendelser til spesifikke Process Identifiers (PID-er). Codex ruter syntetiserte klikk direkte til målapplikasjonens hendelsesløkke, og omgår den globale maskinvaremarkøren. | Lavere overhod; krever presis vindumålsetting. |
| Virtuelle framebuffere | Systemet spinner opp et hodeløst virtuelt skrivebordslag. Codex «ser» og opererer innenfor dette usynlige arbeidsområdet mens brukeren fortsetter å arbeide i det primære arbeidsområdet uforstyrret. | Høyere minnebruk; sterkere isolasjons garantier. |
Tilnærmingen med virtuelle framebuffere samsvarer med mekanikkene man observerte da Anthropic lanserte sin egen Computer Use-evne, noe som tyder på at dette holder på å etablere seg som et bransjestandardmønster for skrivebords-KI-agenter.
Utsiktene: En verden etter API
Den videre effekten strekker seg langt utover den tekniske implementeringen. Ved å løse røret fra syn til handling på operativsystemnivå har OpenAI gjort tradisjonelle API-er valgfrie. Vi trer inn i æraen til Large Action Model (LAM).
Vurder de praktiske konsekvensene:
- Integrasjon med eldre programvare: Bedriftsverktøy fra 2008 uten API? Codex trenger ingen. Den åpner applikasjonen, navigerer i grensesnittet, kopierer data og limer dem inn i et moderne dashbord.
- Plattformbegrensninger: Plattformer som begrenser utviklertilgang gjennom aggressiv API-rate-begrensning? Codex åpner nettleseren og styrer grensesnittet direkte, akkurat slik en menneskelig bruker ville gjort.
- Arbeidsflyter på tvers av applikasjoner: Oppgaver som tidligere krevde egendefinert mellomvare mellom frakoblede applikasjoner, kan nå orkestreres gjennom én eneste instruksjon på naturlig språk.
Programvareindustrien har brukt tiår på å bygge broer mellom applikasjoner. Nå som Codex mestrer macOS-GUI-en, trenger ikke applikasjonene lenger å snakke med hverandre. KI-en bruker dem på våre vegne.
FAQ
Hvordan «ser» Codex skjermen på macOS?
Codex bruker en vertsapplikasjon som tar høyfrekvente skjermbilder av skrivebordet. En multimodal synsmodell utfører deretter semantisk segmentering på disse bildene og identifiserer grensesnittelementer som knapper, menyer og tekstfelt basert på deres visuelle utseende heller enn underliggende kode eller tilgjengelighetsetiketter.
Hvilke macOS-rammeverk bruker Codex for å simulere klikk og tastetrykk?
Codex grensesnitter sannsynligvis mot Apples Quartz Event Services og Accessibility API. Den syntetiserer virtuelle CGEvents (som mouseDown og mouseUp) og injiserer dem i hendelseskøen til macOS-systemet, noe som gjør disse inndataene ikke til å skille fra fysiske maskinvarehendelser.
Hvordan kan Codex operere i bakgrunnen uten å kapre markøren?
Systemet bruker sannsynligvis enten målrettet vindusruting — sending av hendelser direkte til spesifikke Process Identifiers (PID-er) — eller virtuelle framebuffere, som skaper et usynlig skrivebordsarbeidsområde hvor KI-en opererer uavhengig mens brukerens fysiske markør forblir upåvirket.
Hva er en Large Action Model (LAM), og hvordan skiller den seg fra en LLM?
En Large Action Model utvider evnene til en Large Language Model fra tekstgenerering til utførelse av oppgaver i den virkelige verden. Mens en LLM genererer svar, oppfatter en LAM sitt miljø gjennom syn, resonerer over hvilke handlinger som bør utføres, og utfører disse handlingene gjennom injeksjon av inndata på systemnivå. Codex representerer en praktisk implementering av LAM-konseptet.
Legg igjen en kommentar