جب OpenAI نے Codex for (almost) everything جاری کیا تو ٹیک دنیا نے توجہ دی۔ برسوں سے AI کوڈ لکھ رہا تھا اور ای میل تیار کر رہا تھا، لیکن یہ دعویٰ کہ Codex اب macOS کو چلا سکتا ہے — “اپنے کرسر سے دیکھ کر، کلک کر کے اور ٹائپ کر کے” — ایک بنیادی طور پر مختلف صلاحیت کی نمائندگی کرتا ہے۔
کلاؤڈ پر مبنی لینگویج ماڈل اور مقامی آپریٹنگ سسٹم کے درمیان کی خلا کو پُلانا مشہور طور پر مشکل ہے۔ کئی دہائیوں سے آٹومیشن نازک Application Programming Interfaces (APIs) یا DOM اسکریپنگ سکرپٹس پر انحصار کرتی تھی جو GUI عنصر بدلنے کے ساتھ ہی ٹوٹ جاتی ہیں۔
بنیادی انجینئرنگ انسائٹ یہ ہے: Codex نے کوڈ لیول انٹیگریشن کو ترک کر کے پکسل لیول ایگزیکیوشن اپنایا ہے۔ ملٹی موڈل وژن کو لو لیول کرنل ایونٹ انجکشن کے ساتھ ملانے کے ذریعے، OpenAI نے Graphical User Interface (GUI) کو ایک یونیورسل API میں بدل دیا ہے۔
یہ رہی وہ ٹیکنیکل آرکیٹیکچر جو اسے ممکن بناتی ہے۔
Mac نیٹو ایجنٹ کی آرکیٹیکچر
اس کے لیے کہ کوئی AI کسی ایپلی کیشن کی ٹیسٹنگ کر سکے یا فرنٹ اینڈ ڈیزائن پر انسانی مداخلت کے بغیرIterate کر سکے، اسے مسلسل Perceive-Reason-Act لوپ کی ضرورت ہے۔ یہاں دیکھیں کہ Codex ان میں سے ہر مرحلے کو macOS پر ممکنہ طور پر کیسے نافذ کرتا ہے۔
1. پرسپشن: سیمینٹک وژن اور گراؤنڈنگ انجن
AppleScript جیسے روایتی آٹومیشن ٹولز UI ایکسیبیلیٹی ٹری پڑھتے ہیں۔ یہ نقطہ نظر تیز تو ہوتا ہے لیکن کسٹم Electron ایپس، ویب کینوسز یا گیمز پر ناکام ہو جاتا ہے جہاں UI عناصر کے پاس مناسب ایکسیبیلیٹی ٹیگز نہیں ہوتے۔
OpenAI کا کہنا ہے کہ Codex ایپس کو “دیکھ کر” استعمال کرتا ہے، جس کا مطلب ہے کہ یہ Computer Vision پر انحصار کرتا ہے۔ Mac پر چلنے والا ہوسٹ ایپلی کیشن ڈیسک ٹاپ کی ہائی فریکوئنسی فریم گرابز لیتا ہے۔ پھر ایک ملٹی موڈل ماڈل ان فریمز کو سیمینٹک سیگمینٹیشن کے ذریعے پارس کرتا ہے — یہ HTML ٹیگز نہیں ڈھونڈتا بلکہ بصری طور پر بٹن، سرچ بار اور مینیو جیسے انٹرفیس عناصر کی شکل اور سیاق و سباق کو پہچانتا ہے۔
یہاں کلیدی انجینئرنگ چیلنج Grounding ہے۔ ایک بار جب AI ہدف کی شناخت کر لیتا ہے، تو وہ سیمینٹک آبجیکٹ کو اسکرین پر درست پکسل کارڈنیٹس میں میپ کرنے کے لیے ایک کیلکولیشن چلاتا ہے۔ یہ “کلوز بٹن کلک کریں” کو درست (x, y) پوزیشنوں میں تبدیل کر دیتا ہے، مخصوص ڈسپلے ریزیولوشن اور سکیلنگ فیکٹر کے مطابق ایڈجسٹ کرتے ہوئے۔
| اسٹیج | کیا ہوتا ہے | ٹیکنالوجی |
|---|---|---|
| فریم کیپچر | ڈیسک ٹاپ کی ہائی فریکوئنسی اسکرین شاٹس | ہوسٹ ایپلی کیشن |
| سیمینٹک پارسنگ | UI عناصر کو کوڈ نہیں، بصری ظاہری شکل سے پہچانیں | ملٹی موڈل وژن ماڈل |
| گراؤنڈنگ | سیمینٹک ہدف کو پکسل کارڈنیٹس میں میپ کریں | کوآرڈینیٹ ریگریشن ماڈل |
| ایکشن ڈسپیچ | سنٹھیزائزڈ ان پٹ ایونٹس کو OS میں انجیکٹ کریں | سسٹم فریم ورک ہوکس |
2. ایکشن: OS لیول ایونٹس انجیکٹ کرنا
یہ جاننا کہ کہاں کلک کرنا ہے، تب ہی مفید ہے جب سافٹ ویئر واقعی اس ایکشن کو ٹرگر کر سکے۔ Codex فیزیکل ہارڈ ویئر کو بالکل بائی پاس کرتا ہے۔
macOS کے ساتھ نیٹو لیول پر تعامل کرنے کے لیے، Codex تقریباً یقینی طور پر Apple کے گہرے سسٹم فریم ورکس تک رسائی حاصل کرتا ہے: Quartz Event Services اور Accessibility API۔
جب Codex کلک کرنے کا فیصلہ کرتا ہے، تو وہ ایک ورچوئل CGEvent سنٹھائز کرتا ہے — ایک mouseDown کے بعد mouseUp — اور اسے macOS سسٹم ایونٹ کیو میں براہ راست انجیکٹ کر دیتا ہے۔ آپریٹنگ سسٹم کے نقطہ نظر سے، یہ سنٹھیٹک ایونٹ فیزیکل ٹریک پیڈ پریس سے ناکرائز قابل ہے۔ اسی لیے Codex کوئی بھی ایپلی کیشن چلا سکتا ہے: اگر کوئی انسان اسے کلک کر سکتا ہے، تو Codex بھی کر سکتا ہے۔
3. آئسولیشن: “گوئسٹ کرسر” میکانکس
شاید سب سے زیادہ ٹیکنیکلی پرعزم دعویٰ یہ ہے کہ Codex “بیک گراؤنڈ میں آپ کے کمپیوٹر پر قبضہ کیے بغیر” چلتا ہے۔ جس نے بھی میکرو ریکارڈر استعمال کیا ہے وہ جانتا ہے کہ روایتی آٹومیشن ماؤس کرسر پر مکمل قبضہ کر لیتی ہے۔
کنکرنٹ ایگزیکیوشن حاصل کرنے کے لیے، سسٹم کو AI کے ان پٹس کو یوزر کے فیزیکل ان پٹس سے الگ کرنا چاہیے۔ دو ممکنہ نافذ کرنے کے طریقے ہیں:
| طریقہ | یہ کیسے کام کرتا ہے | ٹریڈ آف |
|---|---|---|
| ٹارگیٹڈ ونڈو روٹنگ | macOS مخصوص Process Identifiers (PIDs) کو ایونٹس بھجنے کی اجازت دیتا ہے۔ Codex سنٹھائزڈ کلکس کو براہ راست ٹارگیٹ ایپلی کیشن کے ایونٹ لوپ تک بھیجتا ہے، گلوبل ہارڈ ویئر کرسر کو بائی پاس کرتے ہوئے۔ | کم اوور ہیڈ؛ درست ونڈو ٹارگیٹنگ کی ضرورت۔ |
| ورچوئل فریم بفرز | سسٹم ایک ہیڈ لیس ورچوئل ڈیسک ٹاپ لیئر چلاتا ہے۔ Codex اس غیر مرئی ورک سپیس میں “دیکھتا” اور کام کرتا ہے جبکہ یوزر بنیادی ورک سپیس میں بے تعرض کام جاری رکھتا ہے۔ | زیادہ میموری استعمال؛ مضبوط آئسولیشن گارنٹیز۔ |
ورچوئل فریم بفر نقطہ نظر اس میکانکس سے میل کھاتا ہے جو اس وقت دیکھا گیا جب Anthropic نے اپنی Computer Use صلاحیت جاری کی، جو اس بات کا اشارہ ہے کہ یہ ڈیسک ٹاپ AI ایجنٹس کے لیے انڈسٹری سٹینڈرڈ پیٹرن کے طور پر ابھر رہا ہے۔
آؤٹ لک: ایک پوسٹ API دنیا
ڈاؤن سٹریم اثرات ٹیکنیکل نافذ کرنے سے کہیں آگے تک پھیلے ہوئے ہیں۔ OS لیول پر وژن ٹو ایکشن پائپ لائن حل کر کے، OpenAI نے روایتی APIs کو آپشنل بنا دیا ہے۔ ہم Large Action Model (LAM) کے دور میں داخل ہو رہے ہیں۔
عملی مضمرات پر غور کریں:
- لیجسی سافٹ ویئر انٹیگریشن: 2008 کے انٹرپرائز ٹولز جن کی کوئی API نہیں ہے؟ Codex کو اس کی ضرورت نہیں۔ یہ ایپلی کیشن کھولتا ہے، انٹرفیس نیویگیٹ کرتا ہے، ڈیٹا کاپی کرتا ہے، اور اسے جدید ڈیش بورڈ میں پیسٹ کر دیتا ہے۔
- پلیٹ فارم پابندیاں: ایسے پلیٹ فارم جو حملہ آور API ریٹ لمٹنگ کے ذریعے ڈویلپر رسائی محدود کرتے ہیں؟ Codex ویب براؤزر کھولتا ہے اور انٹرفیس کو براہ راست چلاتا ہے، بالکل اسی طرح جیسے کوئی انسانی یوزر کرے گا۔
- کراس ایپلی کیشن ورک فلوز: وہ کام جن کے لیے پہلے منقطع ایپلی کیشنز کے درمیان کسٹم مڈل ویئر درکار تھا، اب ایک ہی قدرتی زبان کے انسٹرکشن کے ذریعے آرکسٹریٹ کیے جا سکتے ہیں۔
سافٹ ویئر انڈسٹری نے دہائیوں تک ایپلی کیشنز کے درمیان پل بنانے میں گزارا ہے۔ Codex کے macOS GUI پر عبور حاصل کرنے کے ساتھ، ایپلی کیشنز کو اب آپس میں بات کرنے کی ضرورت نہیں۔ AI ہماری طرف سے انہیں استعمال کرتا ہے۔
اکثر پوچھے جانے والے سوالات
Codex macOS پر اسکرین کو کیسے “دیکھتا” ہے؟
Codex ایک ہوسٹ ایپلی کیشن استعمال کرتا ہے جو ڈیسک ٹاپ کی ہائی فریکوئنسی اسکرین شاٹس لیتی ہے۔ پھر ایک ملٹی موڈل وژن ماڈل ان فریمز پر سیمینٹک سیگمینٹیشن کرتا ہے، اور UI عناصر جیسے بٹن، مینیو اور ٹیکسٹ فیلڈز کو ان کے بنیادی کوڈ یا ایکسیبیلیٹی ٹیگز کے بجائے بصری ظاہری شکل کی بنیاد پر پہچانتا ہے۔
Codex کلکس اور کی اسٹراکس سنٹولیٹ کرنے کے لیے کون سے macOS فریم ورکس استعمال کرتا ہے؟
Codex ممکنہ طور پر Apple کے Quartz Event Services اور Accessibility API کے ساتھ انٹرفیس کرتا ہے۔ یہ ورچوئل CGEvents (جیسے mouseDown اور mouseUp) سنٹھائز کرتا ہے اور انہیں macOS سسٹم ایونٹ کیو میں انجیکٹ کرتا ہے، جس سے یہ ان پٹس فیزیکل ہارڈ ویئر ایونٹس سے ناکرائز ہو جاتے ہیں۔
Codex کرسر پر قبضہ کیے بغیر بیک گراؤنڈ میں کیسے چل سکتا ہے؟
سسٹم غالباً یا تو ٹارگیٹڈ ونڈو روٹنگ استعمال کرتا ہے — ایونٹس کو براہ راست مخصوص Process Identifiers (PIDs) تک بھیجنا — یا ورچوئل فریم بفرز، جو ایک غیر مرئی ڈیسک ٹاپ ورک سپیس تخلیق کرتے ہیں جہاں AI آزادانہ طور پر کام کرتا ہے جبکہ یوزر کا فیزیکل کرسر غیر متاثر رہتا ہے۔
Large Action Model (LAM) کیا ہے اور یہ LLM سے کیسے مختلف ہے؟
Large Action Model، Large Language Model کی صلاحیتوں کو ٹیکسٹ جنریشن سے بڑھا کر حقیقی دنیا کے کاموں کی ایگزیکیوشن تک لے جاتا ہے۔ جہاں ایک LLM جوابات جنریٹ کرتا ہے، وہیں ایک LAM وژن کے ذریعے اپنے ماحول کو پرسپٹ کرتا ہے، اس بات پر سوچتا ہے کہ کون سی ایکشنز لینی ہیں، اور ان ایکشنز کو سسٹم لیول ان پٹ انجکشن کے ذریعے نافذ کرتا ہے۔ Codex، LAM تصور کی ایک عملی نافذ کردہ شکل ہے۔
