जब OpenAI ने (लगभग) हर काम के लिए Codex जारी किया, तो तकनीकी दुनिया का ध्यान इसकी ओर गया। सालों से AI कोड लिख रहा है और ईमेल तैयार कर रहा है, पर Codex का दावा कि वह अब macOS को चला सकता है — “अपने कर्सर से देखकर, क्लिक करके और टाइप करके” — एक बिल्कुल ही अलग क्षमता का संकेत है।
क्लाउड-आधारित language model और स्थानीय operating system के बीच की खाई को पाटना कठिन काम है। दशकों से ऑटोमेशन उन नाजुक Application Programming Interfaces (APIs) या DOM-scraping स्क्रिप्ट्स पर निर्भर था, जो GUI element बदलते ही टूट जाती हैं।
मुख्य तकनीकी अंतर्दृष्टि यह है: Codex ने code-level इंटीग्रेशन को छोड़कर pixel-level निष्पादन अपनाया है। मल्टीमॉडल विज़न को low-level kernel event injection के साथ जोड़कर, OpenAI ने Graphical User Interface (GUI) को एक सार्वभौमिक API में बदल दिया है।
यहाँ वह तकनीकी आर्किटेक्चर है जो इसे संभव बनाता है।
Mac-नेटिव एजेंट का आर्किटेक्चर
किसी AI को मानव हस्तक्षेप के बिना किसी एप्लिकेशन का परीक्षण करने या frontend डिज़ाइन पर बार-बार काम करने के लिए, उसे एक निरंतर Perceive-Reason-Act (अनुभव-तर्क-क्रिया) लूप चाहिए। यहाँ बताया गया है कि Codex macOS पर हर चरण को संभवतः कैसे लागू करता है।
1. Perception: Semantic Vision और Grounding Engine
पारंपरिक ऑटोमेशन टूल्स जैसे AppleScript GUI accessibility tree को पढ़ते हैं। यह तरीका तेज़ तो है, पर कस्टम Electron ऐप्स, वेब कैनवासों या गेम्स पर विफल हो जाता है, जहाँ GUI elements में उचित accessibility टैग नहीं होते।
OpenAI कहता है कि Codex ऐप्स का उपयोग उन्हें “देखकर” करता है, जिसका अर्थ है कि यह Computer Vision पर निर्भर करता है। Mac पर चलने वाला host application डेस्कटॉप की high-frequency frame grabs लेता है। फिर एक मल्टीमॉडल मॉडल इन frames को semantic segmentation द्वारा पार्स करता है — यह HTML टैग नहीं खोजता, बल्कि बटन, सर्च बार और मेन्यू जैसे interface elements के आकार और संदर्भ को दृश्य रूप से पहचानता है।
यहाँ मुख्य तकनीकी चुनौती Grounding है। AI लक्ष्य पहचान लेने के बाद, वह एक गणना चलाकर semantic object को स्क्रीन के सटीक pixel निर्देशांकों से मैप करता है। यह “close बटन पर क्लिक करें” को सटीक (x, y) स्थितियों में बदलता है, और विशिष्ट डिस्प्ले resolution तथा scaling factor के अनुसार समायोजन करता है।
| चरण | क्या होता है | तकनीकी |
|---|---|---|
| Frame Capture | डेस्कटॉप के high-frequency स्क्रीनशॉट | Host application |
| Semantic Parsing | GUI elements को code नहीं, दृश्य रूप से पहचानना | मल्टीमॉडल विज़न मॉडल |
| Grounding | Semantic लक्ष्यों को pixel निर्देशांकों से मैप करना | Coordinate regression मॉडल |
| Action Dispatch | सिंथेटिक input events को OS में इंजेक्ट करना | System framework hooks |
2. Action: OS-Level Events इंजेक्ट करना
क्लिक कहाँ करना है, यह जानना तभी उपयोगी है जब सॉफ़्टवेयर वास्तव में क्रिया को ट्रिगर कर सके। Codex पूरी तरह से भौतिक हार्डवेयर को दरकिनार कर देता है।
macOS से नेटिव स्तर पर बातचीत करने के लिए, Codex संभवतः Apple के सबसे गहरे system frameworks का उपयोग करता है: Quartz Event Services और Accessibility API।
जब Codex क्लिक करने का निर्णय लेता है, तो वह एक वर्चुअल CGEvent सिंथेसाइज़ करता है — पहले mouseDown, फिर mouseUp — और इसे सीधे macOS system event queue में इंजेक्ट कर देता है। Operating system के दृष्टिकोण से, यह सिंथेटिक event किसी भौतिक trackpad दबाव से अलग नहीं है। यही कारण है कि Codex किसी भी एप्लिकेशन को चला सकता है: यदि कोई मनुष्य उस पर क्लिक कर सकता है, तो Codex भी कर सकता है।
3. Isolation: “Ghost Cursor” तंत्र
शायद सबसे अधिक तकनीकी रूप से महत्वाकांक्षी दावा यह है कि Codex “बैकग्राउंड में आपके कंप्यूटर को अपने कब्ज़े में लिए बिना” चलता है। जिन्होंने मैक्रो रिकॉर्डर का उपयोग किया है, वे जानते हैं कि पारंपरिक ऑटोमेशन माउस कर्सर को पूरी तरह हथिया लेता है।
समवर्ती निष्पादन हासिल करने के लिए, सिस्टम को AI के inputs को उपयोगकर्ता के भौतिक inputs से अलग करना होगा। इसके लिए दो संभावित कार्यान्वयन दृष्टिकोण हैं:
| तरीका | यह कैसे काम करता है | समझौता |
|---|---|---|
| Targeted Window Routing | macOS विशिष्ट Process Identifiers (PIDs) को events भेजने की अनुमति देता है। Codex सिंथेसाइज़ किए गए क्लिक सीधे लक्षित एप्लिकेशन के event loop में भेजता है, वैश्विक हार्डवेयर कर्सर को दरकिनार करते हुए। | कम overhead; सटीक window targeting आवश्यक। |
| Virtual Framebuffers | सिस्टम एक headless वर्चुअल डेस्कटॉप परत शुरू करता है। Codex इस अदृश्य workspace में “देखता” और काम करता है, जबकि उपयोगकर्ता प्राथमिक workspace में बिना किसी बाधा के काम जारी रखता है। | अधिक मेमोरी उपयोग; मज़बूत isolation गारंटी। |
Virtual framebuffer तरीका उस तंत्र से मेल खाता है जो Anthropic द्वारा अपनी Computer Use क्षमता जारी करते समय देखा गया था, जो दर्शाता है कि यह desktop AI एजेंट्स के लिए एक उद्योग-मानक पैटर्न के रूप में उभर रहा है।
भविष्य का दृश्य: एक Post-API दुनिया
इसका दीर्घकालिक प्रभाव तकनीकी कार्यान्वयन से कहीं आगे तक फैला हुआ है। OS स्तर पर vision-to-action pipeline को हल करके, OpenAI ने पारंपरिक APIs को वैकल्पिक बना दिया है। हम Large Action Model (LAM) के युग में प्रवेश कर रहे हैं।
व्यावहारिक प्रभावों पर विचार करें:
- लीगेसी सॉफ़्टवेयर इंटीग्रेशन: 2008 के एंटरप्राइज़ टूल्स, बिना किसी API के? Codex को इसकी ज़रूरत नहीं। यह एप्लिकेशन खोलता है, interface पर नेविगेट करता है, डेटा कॉपी करता है, और उसे आधुनिक डैशबोर्ड में पेस्ट कर देता है।
- प्लेटफ़ॉर्म प्रतिबंध: ऐसे प्लेटफ़ॉर्म जो आक्रामक API rate limiting के ज़रिए डेवलपर एक्सेस सीमित करते हैं? Codex वेब ब्राउज़र खोलता है और सीधे interface को चलाता है, ठीक वैसे ही जैसे कोई मानव उपयोगकर्ता करता।
- क्रॉस-एप्लिकेशन वर्कफ़्लो: वे कार्य जिनके लिए पहले असंबद्ध एप्लिकेशन्स के बीच कस्टम middleware चाहिए होता था, अब एक ही natural-language निर्देश के ज़रिए संचालित किए जा सकते हैं।
सॉफ़्टवेयर उद्योग ने दशकों तक एप्लिकेशन्स के बीच पुल बनाए। Codex के macOS GUI में महारत हासिल कर लेने के साथ, एप्लिकेशन्स को अब आपस में बात करने की ज़रूरत नहीं। AI हमारी ओर से उनका उपयोग करता है।
FAQ
Codex macOS पर स्क्रीन को कैसे “देखता” है?
Codex एक host application का उपयोग करता है जो डेस्कटॉप के high-frequency स्क्रीनशॉट लेता है। फिर एक मल्टीमॉडल विज़न मॉडल इन frames पर semantic segmentation करता है, और बटन, मेन्यू तथा टेक्स्ट फ़ील्ड जैसे GUI elements को उनके underlying code या accessibility टैग के बजाय उनकी दृश्य उपस्थिति के आधार पर पहचानता है।
Codex क्लिक और कीस्ट्रोक सिम्युलेट करने के लिए कौन-से macOS frameworks उपयोग करता है?
Codex संभवतः Apple के Quartz Event Services और Accessibility API से इंटरफ़ेस करता है। यह वर्चुअल CGEvents (जैसे mouseDown और mouseUp) सिंथेसाइज़ करता है और उन्हें macOS system event queue में इंजेक्ट करता है, जिससे ये inputs भौतिक हार्डवेयर events से अलग नहीं लगते।
Codex बिना कर्सर हथियाए बैकग्राउंड में कैसे चल सकता है?
सिस्टम संभवतः या तो targeted window routing का उपयोग करता है — events को सीधे विशिष्ट Process Identifiers (PIDs) को भेजना — या virtual framebuffers का, जो एक अदृश्य डेस्कटॉप workspace बनाते हैं जहाँ AI स्वतंत्र रूप से काम करता है, जबकि उपयोगकर्ता का भौतिक कर्सर अप्रभावित रहता है।
Large Action Model (LAM) क्या है और यह LLM से कैसे भिन्न है?
Large Action Model, Large Language Model की क्षमताओं को टेक्स्ट जनरेशन से बढ़ाकर वास्तविक-दुनिया के कार्य निष्पादन तक ले जाता है। जहाँ LLM केवल प्रतिक्रियाएँ उत्पन्न करता है, वहीं LAM विज़न के ज़रिए अपने परिवेश को अनुभव करता है, यह तर्क करता है कि कौन-सी क्रियाएँ करनी हैं, और system-level input injection के ज़रिए उन्हें अंजाम देता है। Codex, LAM अवधारणा का एक व्यावहारिक कार्यान्वयन है।
