عندما أصدرت OpenAI مشروع Codex لـ (تقريبًا) كل شيء، انتبه العالم التقني. لسنوات، كان الذكاء الاصطناعي يكتب التعليمات البرمجية ويصيغ رسائل البريد الإلكتروني، لكن ادعاء أن Codex بات قادرًا على تشغيل macOS — «عبر الرؤية والنقر والكتابة باستخدام مؤشره الخاص» — تمثّل قدرة جوهرية مختلفة تمامًا.
إنجاز الجسر بين نموذج لغوي سحابي ونظام تشغيل محلي أمر في غاية الصعوبة على نحو معروف. فعقودًا من الزمن اعتمدت الأتمتة على واجهات برمجة التطبيقات (APIs) الهشّة أو سكربتات كشط شجرة DOM التي تنهار لحظة تغيُّر أي عنصر في واجهة المستخدم.
جوهر الرؤية الهندسية هنا: تخلّت Codex عن التكامل على مستوى التعليمات البرمجية لصالح التنفيذ على مستوى البكسل. بدمج الرؤية متعددة الوسائط مع حقن أحداث النواة منخفضة المستوى، حوّلت OpenAI واجهة المستخدم الرسومية (GUI) إلى واجهة API شاملة.
وفيما يلي البنية التقنية التي تجعل ذلك ممكنًا.
بنية وكيل أصيل في بيئة Mac
لكي يتمكّن الذكاء الاصطناعي من اختبار تطبيق أو تكرار تصميم واجهة أمامية دون تدخل بشري، يحتاج إلى حلقة متّصلة من الإدراك والاستدلال والفعل. هكذا تنفّذ Codex على الأرجح كل مرحلة على macOS.
1. الإدراك: الرؤية الدلالية ومحرّك التأريض
تقرأ أدوات الأتمتة التقليدية مثل AppleScript شجرة الوصول في واجهة المستخدم. هذا النهج سريع لكنه يفشل مع تطبيقات Electron المخصّصة، أو لوحات الويب القماشية، أو الألعاب حيث تفتقر عناصر الواجهة إلى وسوم وصول صحيحة.
تصرّح OpenAI بأن Codex يستخدم التطبيقات عبر «رؤيتها»، ما يعني اعتماده على الرؤية الحاسوبية. فالتطبيق المضيف العاملة على Mac يلتقط لقطات عالية التردد لسطح المكتب. بعدها يقوم نموذج متعدد الوسائط بتحليل هذه اللقطات عبر التجزئة الدلالية — فهو لا يبحث عن وسوم HTML بل يتعرّف بصريًا على شكل سياق عناصر الواجهة مثل الأزرار وأشرطة البحث والقوائم.
التحدّي الهندسي المحوري هنا هو التأريض. ما إن يحدّد الذكاء الاصطناعي هدفًا حتى يُجري حسابًا يربط الكائن الدلالي بإحداثيات بكسل دقيقة على الشاشة. فهو يترجم «انقر زر الإغلاق» إلى مواضع (x, y) مضبوطة، معادلاً الأخذ بالحسبان دقة العرض المحدّدة وعامل القياس.
| المرحلة | ما يحدث | التقنية |
|---|---|---|
| التقاط الإطار | لقطات شاشة عالية التردد لسطح المكتب | التطبيق المضيف |
| التحليل الدلالي | التعرّف على عناصر الواجهة بالمظهر البصري لا بالتعليمات البرمجية | نموذج رؤية متعدد الوسائط |
| التأريض | ربط الأهداف الدلالية بإحداثيات البكسل | نموذج انحدار الإحداثيات |
| إرسال الإجراء | حقن أحداث الدخل المُركّبة في نظام التشغيل | خطافات إطار النظام |
2. الفعل: حقن أحداث على مستوى نظام التشغيل
معرفة مكان النقر نافعة فقط إن استطاعت البرمجيات إطلاق الإجراء فعلًا. تتجاوز Codex العتاد المادي كليًا.
للتفاعل مع macOS على المستوى الأصيل، تستعين Codex على الأرجح بأعمق أطر النظام من Apple: Quartz Event Services وواجهة Accessibility API.
عندما تقرّر Codex النقر، تُركّب حدثًا افتراضيًا من نوع CGEvent — mouseDown يتلوه mouseUp — وتحقنه مباشرةً في طابور أحداث نظام macOS. من منظور نظام التشغيل، لا يُفرَّق هذا الحدث الاصطناعي عن ضغطة لوحة التتبّع المادية. لهذا تستطيع Codex تشغيل أي تطبيق: إن كان باستطاعة إنسان النقر عليه، فباستطاعة Codex النقر عليه.
3. العزل: ميكانيكا «المؤشر الشبح»
لعلّ أكثر ادعاءاتها طموحًا من الناحية التقنية أن Codex يعمل «في الخلفية دون الاستيلاء على حاسوبك». فكل من استخدم مسجّل الماكرو يعرف أن الأتمتة التقليدية تستحوذ على مؤشر الفأرة بالكامل.
لتحقيق التنفيذ المتزامن، يجب أن يعزل النظام مدخلات الذكاء الاصطناعي عن المدخلات المادية للمستخدم. وهنا نهجان محتملان للتنفيذ:
| النهج | كيف يعمل | المفاضلة |
|---|---|---|
| توجيه النوافذ المُستهدَفة | يتيح macOS إرسال الأحداث إلى مُعرّفات العمليات (PIDs) محدّدة. توجّه Codex النقرات المُركّبة مباشرةً إلى حلقة أحداث التطبيق المُستهدَف، متجاوزةً المؤشر المادي الشامل. | عبء أقل؛ يتطلّب استهداف نوافذ دقيقًا. |
| الصور الإطارية الافتراضية | يُنشئ النظام طبقة سطح مكتب افتراضية بلا رأس. «ترى» Codex وتعمل داخل مساحة العمل غير المرئية هذه بينما يواصل المستخدم عمله في مساحة العمل الأساسية دون ازعاج. | استهلاك ذاكرة أعلى؛ ضمانات عزل أقوى. |
يتّسق نهج الصورة الإطارية الافتراضية مع الميكانيكا المُلاحَظة عند إطلاق Anthropic لقدرة Computer Use الخاصة بها، ما يوحي بأن هذا قد يتحوّل إلى نمط قياسي صناعي لوكلاء الذكاء الاصطناعي على الحواسيب المكتبية.
الآفاق: عالم ما بعد الـ API
يمتدّ الأثر المتسلسل إلى ما هو أبعد من التنفيذ التقني. بحلّ خط أنابيب «من الرؤية إلى الفعل» على مستوى نظام التشغيل، جعلت OpenAI من واجهات API التقليدية أمرًا اختياريًا. نحن ندخل عصر النموذج الكبير للإجراءات (LAM).
تأمّلوا التداعيات العملية:
- تكامل البرمجيات القديمة: أدوات مؤسسية من عام 2008 بلا واجهة API؟ لا تحتاج Codex إلى واحدة. تفتح التطبيق، تتنقّل في الواجهة، تنسخ البيانات، ثم تلصقها في لوحة تحكم حديثة.
- قيود المنصّات: منصّات تحدّ من وصول المطوّرين عبر تقييد صارم لمعدّلات استدعاء API؟ تفتح Codex متصفّح الويب وتقود الواجهة مباشرةً، تمامًا كما يفعل المستخدم البشري.
- تدفقات العمل عبر التطبيقات: مهام كانت تستلزم سابقًا وسيطًا مخصّصًا بين تطبيقات غير متّصلة، يمكن الآن تنسيقها عبر تعليمة واحدة باللغة الطبيعية.
قضت صناعة البرمجيات عقودًا في بناء الجسور بين التطبيقات. مع إتقان Codex لواجهة macOS الرسومية، لم تعد التطبيقات بحاجة إلى التحدّث فيما بينها. الذكاء الاصطناعي يستخدمها نيابةً عنّا.
الأسئلة الشائعة
كيف «يرى» Codex الشاشة على macOS؟
تستخدم Codex تطبيقًا مضيفًا يلتقط لقطات شاشة عالية التردد لسطح المكتب. ثم يُجري نموذج رؤية متعدد الوسائط تجزئة دلالية على هذه اللقطات، مُتعرّفًا على عناصر الواجهة كالأزرار والقوائم وحقول النص بناءً على مظهرها البصري لا على التعليمات البرمجية الكامنة أو وسوم الوصول.
أي أطر macOS تستخدمها Codex لمحاكاة النقرات وضغطات المفاتيح؟
على الأرجح تتّصل Codex بكلٍّ من Quartz Event Services وواجهة Accessibility API من Apple. تُركّب أحداث CGEvent افتراضية (مثل mouseDown وmouseUp) وتحقنها في طابور أحداث نظام macOS، فتجعل هذه المدخلات غير قابلة للتمييز عن أحداث العتاد المادي.
كيف يمكن لـ Codex العمل في الخلفية دون اختطاف المؤشر؟
يستخدم النظام على الأرجح إمّا توجيه النوافذ المُستهدَفة — إرسال الأحداث مباشرةً إلى مُعرّفات العمليات (PIDs) محدّدة — أو الصور الإطارية الافتراضية، التي تُنشئ مساحة عمل سطح مكتب غير مرئية يعمل الذكاء الاصطناعي فيها باستقلال بينما يبقى مؤشر المستخدم المادي بمنأى عن التأثّر.
ما النموذج الكبير للإجراءات (LAM) وكيف يختلف عن LLM؟
يوسّع النموذج الكبير للإجراءات قدرات النموذج اللغوي الكبير من توليد النص إلى تنفيذ المهام في العالم الواقعي. فبينما يُولّد LLM الاستجابات، يُدرك LAM بيئته عبر الرؤية، ويستدلّ بالإجراءات الواجب اتخاذها، ثم ينفّذها عبر حقن الدخل على مستوى النظام. وتمثّل Codex تطبيقًا عمليًا لمفهوم LAM.
اترك تعليقاً