Ketika OpenAI merilis Codex untuk (hampir) segala hal, dunia teknologi langsung menaruh perhatian. Selama bertahun-tahun AI memang sudah menulis kode dan menyusun draf email, namun klaim bahwa Codex kini mampu mengoperasikan macOS — “dengan melihat, mengklik, dan mengetik menggunakan kursornya sendiri” — merupakan kapabilitas yang sama sekali berbeda secara mendasar.
Menjembatani kesenjangan antara model bahasa berbasis cloud dan sistem operasi lokal memang dikenal sangat sulit. Selama puluhan tahun, otomasi mengandalkan Application Programming Interfaces (API) yang rapuh atau skrape DOM yang langsung rusak begitu satu elemen antarmuka berubah.
Insight rekayasa intinya: Codex telah meninggalkan integrasi tingkat kode demi eksekusi tingkat piksel. Dengan memadukan visi multimodal dan injeksi event kernel tingkat rendah, OpenAI telah mengubah Graphical User Interface (GUI) menjadi semacam API universal.
Berikut adalah arsitektur teknis yang membuat hal ini menjadi mungkin.
Arsitektur Agen Native Mac
Agar sebuah AI dapat menguji aplikasi atau mengiterasi desain frontend tanpa intervensi manusia, ia membutuhkan loop Perceive-Reason-Act (Mempersepsi–Menalar–Bertindak) yang berjalan terus-menerus. Berikut cara Codex kemungkinan besar mengimplementasikan setiap tahapannya di macOS.
1. Persepsi: Semantic Vision dan Grounding Engine
Alat otomasi tradisional seperti AppleScript membaca pohon aksesibilitas (accessibility tree) UI. Pendekatan ini cepat, namun gagal pada aplikasi Electron khusus, kanvas web, atau game yang elemen UI-nya tidak memiliki tag aksesibilitas yang memadai.
OpenAI menyatakan bahwa Codex menggunakan aplikasi dengan cara “melihatnya”, yang berarti ia mengandalkan Computer Vision. Aplikasi host yang berjalan di Mac mengambil tangkapan frame desktop pada frekuensi tinggi. Model multimodal kemudian mengurai frame-frame tersebut menggunakan segmentasi semantik — ia tidak mencari tag HTML, melainkan mengenali bentuk dan konteks elemen antarmuka seperti tombol, bilah pencarian, dan menu secara visual.
Tantangan rekayasa utama di sini adalah Grounding. Begitu AI mengidentifikasi target, ia menjalankan perhitungan untuk memetakan objek semantik ke koordinat piksel yang presisi di layar. Ia menerjemahkan “klik tombol tutup” menjadi posisi (x, y) yang eksak, dengan menyesuaikan resolusi tampilan dan faktor skala spesifik.
| Tahapan | Yang Terjadi | Teknologi |
|---|---|---|
| Frame Capture | Tangkapan layar desktop pada frekuensi tinggi | Aplikasi host |
| Semantic Parsing | Mengidentifikasi elemen UI berdasarkan tampilan visual, bukan kode | Model visi multimodal |
| Grounding | Memetakan target semantik ke koordinat piksel | Model regresi koordinat |
| Action Dispatch | Menginjeksikan event input tersintesis ke OS | Hook kerangka sistem |
2. Aksi: Menginjeksikan Event Tingkat OS
Mengetahui lokasi klik hanya berguna jika perangkat lunak benar-benar dapat memicu aksi tersebut. Codex sama sekali melewati perangkat keras fisik.
Untuk berinteraksi dengan macOS di tingkat native, Codex hampir pasti menyentuh kerangka sistem terdalam Apple: Quartz Event Services dan Accessibility API.
Saat Codex memutuskan untuk mengklik, ia mensintesis sebuah CGEvent virtual — berupa mouseDown diikuti mouseUp — dan menginjeksikannya langsung ke antrean event sistem macOS. Dari sudut pandang sistem operasi, event sintetis ini tidak dapat dibedakan dari tekanan trackpad fisik. Inilah alasan Codex dapat mengoperasikan aplikasi apa pun: jika manusia bisa mengkliknya, Codex juga bisa.
3. Isolasi: Mekanika “Ghost Cursor”
Klaim yang barangkali paling ambisius secara teknis adalah bahwa Codex berjalan “di latar belakang tanpa mengambil alih komputer Anda.” Siapa pun yang pernah menggunakan perekam macro tahu bahwa otomasi tradisional sepenuhnya membajak kursor mouse.
Untuk mencapai eksekusi paralel, sistem harus mengisolasi input AI dari input fisik pengguna. Ada dua pendekatan implementasi yang paling mungkin:
| Pendekatan | Cara Kerjanya | Trade-off |
|---|---|---|
| Targeted Window Routing | macOS memungkinkan pengiriman event ke Process Identifiers (PID) spesifik. Codex mengarahkan klik tersintesis langsung ke loop event aplikasi target, melewati kursor perangkat keras global. | Overhead lebih rendah; menuntut penargetan jendela yang presisi. |
| Virtual Framebuffers | Sistem memutar satu lapisan desktop virtual headless. Codex “melihat” dan beroperasi di dalam ruang kerja tak terlihat ini sementara pengguna terus bekerja di ruang kerja utama tanpa gangguan. | Penggunaan memori lebih tinggi; jaminan isolasi yang lebih kuat. |
Pendekatan framebuffer virtual selaras dengan mekanika yang teramati ketika Anthropic merilis kapabilitas Computer Use mereka sendiri, yang mengindikasikan bahwa hal ini mungkin sedang muncul sebagai pola standar industri bagi agen AI desktop.
Pandangan ke Depan: Dunia Pasca-API
Dampak lanjutannya jauh melampaui implementasi teknis. Dengan menyelesaikan pipeline dari visi ke aksi di tingkat OS, OpenAI telah menjadikan API tradisional opsional. Kita memasuki era Large Action Model (LAM).
Perhatikan implikasi praktisnya:
- Integrasi Perangkat Lunak Lawas: Perangkat enterprise dari 2008 tanpa API? Codex tidak membutuhkannya. Ia membuka aplikasi, menavigasi antarmuka, menyalin data, dan menempelkannya ke dashboard modern.
- Pembatasan Platform: Platform yang membatasi akses pengembang melalui pembatasan rate API yang agresif? Codex membuka peramban web dan mengendalikan antarmuka secara langsung, sama seperti pengguna manusia.
- Alur Kerja Lintas Aplikasi: Tugas-tugas yang sebelumnya membutuhkan middleware khusus antar aplikasi yang tidak terhubung kini dapat diorkestrasi melalui satu instruksi bahasa alami.
Industri perangkat lunak telah menghabiskan puluhan tahun untuk membangun jembatan antar aplikasi. Dengan Codex menguasai GUI macOS, aplikasi-aplikasi tersebut tidak lagi perlu saling berbicara satu sama lain. AI yang menggunakannya atas nama kita.
FAQ
Bagaimana Codex “melihat” layar di macOS?
Codex menggunakan aplikasi host yang menangkap tangkapan layar desktop pada frekuensi tinggi. Model visi multimodal kemudian melakukan segmentasi semantik pada frame-frame tersebut, mengidentifikasi elemen UI seperti tombol, menu, dan kolom teks berdasarkan tampilan visualnya, bukan berdasarkan kode atau tag aksesibilitas yang mendasarinya.
Kerangka macOS apa yang dipakai Codex untuk menyimulasikan klik dan penekanan tombol?
Codex kemungkinan besar berinteraksi dengan Quartz Event Services dan Accessibility API milik Apple. Ia mensintesis CGEvent virtual (seperti mouseDown dan mouseUp) dan menginjeksikannya ke antrean event sistem macOS, sehingga input tersebut tidak dapat dibedakan dari event perangkat keras fisik.
Bagaimana Codex bisa beroperasi di latar belakang tanpa membajak kursor?
Sistem ini kemungkinan menggunakan targeted window routing — mengirim event langsung ke Process Identifier (PID) spesifik — atau virtual framebuffer, yang membuat ruang kerja desktop tak terlihat tempat AI beroperasi secara independen sementara kursor fisik pengguna tetap tidak terpengaruh.
Apa itu Large Action Model (LAM) dan apa bedanya dengan LLM?
Large Action Model memperluas kapabilitas Large Language Model dari sekadar pembangkit teks menjadi eksekusi tugas di dunia nyata. Jika LLM hanya menghasilkan respons, LAM mempersepsi lingkungannya melalui visi, menalar tindakan apa yang harus diambil, dan mengeksekusi tindakan tersebut melalui injeksi input di tingkat sistem. Codex merupakan implementasi praktis dari konsep LAM.
