Рубрика: zelonai

Под капотом Codex: как OpenAI научила ИИ физически управлять вашим Mac

Когда OpenAI выпустила Codex «почти для всего», технологический мир это заметил. ИИ пишет код и составляет электронные письма уже много лет, но утверждение, что Codex теперь может работать в macOS — «видя, нажимая и печатая собственным курсором» — представляет собой принципиально иную способность.

Связать облачную языковую модель с локальной операционной системой — задача заведомо трудная. Десятилетиями автоматизация опиралась на хрупкие Application Programming Interfaces (API) или скрипты, парсящие DOM, которые ломались, как только менялся хоть один элемент интерфейса.

Главная инженерная идея: Codex отказался от интеграции на уровне кода в пользу исполнения на уровне пикселей. Сочетая мультимодальное зрение с низкоуровневой инъекцией событий ядра, OpenAI превратил Graphical User Interface (GUI) в универсальный API.

Далее — техническая архитектура, которая делает это возможным.

Архитектура Mac-нативного агента

Чтобы ИИ мог тестировать приложение или итерировать фронтенд-дизайн без участия человека, ему нужен непрерывный цикл «Восприятие — Рассуждение — Действие». Вот как Codex, вероятно, реализует каждый этап в macOS.

1. Восприятие: семантическое зрение и движок Grounding

Традиционные инструменты автоматизации вроде AppleScript читают дерево доступности UI. Этот подход быстр, но пасует на кастомных Electron-приложениях, веб-полотнах или играх, где элементы интерфейса лишены корректных тегов доступности.

OpenAI утверждает, что Codex работает с приложениями, «видя» их, — то есть опирается на Computer Vision. Хост-приложение, запущенное на Mac, с высокой частотой делает снимки кадров рабочего стола. Затем мультимодальная модель разбирает эти кадры методом семантической сегментации — она ищет не HTML-теги, а визуально распознаёт форму и контекст элементов интерфейса: кнопок, строк поиска, меню.

Ключевая инженерная задача здесь — Grounding. Определив цель, ИИ выполняет расчёт, чтобы сопоставить семантический объект с точными пиксельными координатами на экране. Он переводит «нажми кнопку закрытия» в точные позиции (x, y), учитывая конкретное разрешение дисплея и коэффициент масштабирования.

Этап	Что происходит	Технология
Захват кадров	Высокочастотные скриншоты рабочего стола	Хост-приложение
Семантический разбор	Идентификация элементов UI по внешнему виду, а не по коду	Мультимодальная модель зрения
Grounding	Сопоставление семантических целей с пиксельными координатами	Модель регрессии координат
Диспетчеризация действий	Внедрение синтезированных событий ввода в ОС	Хуки системного фреймворка

2. Действие: инъекция событий уровня ОС

Знать, куда нажать, имеет смысл, только если программа действительно может запустить действие. Codex полностью обходит физическую периферию.

Для взаимодействия с macOS на нативном уровне Codex почти наверняка обращается к самым глубоким системным фреймворкам Apple: Quartz Event Services и Accessibility API.

Когда Codex решает нажать, он синтезирует виртуальный CGEvent — mouseDown, за которым следует mouseUp, — и напрямую внедряет его в системную очередь событий macOS. С точки зрения операционной системы этот синтетический событие неотличим от физического нажатия на трекпад. Именно поэтому Codex может управлять любым приложением: если человек может это нажать, Codex тоже может.

3. Изоляция: механика «призрачного курсора»

Пожалуй, самый амбициозный технический тезис — что Codex работает «в фоновом режиме, не перехватывая управление вашим компьютером». Любой, кто пользовался макрорекордером, знает: традиционная автоматизация полностью захватывает курсор мыши.

Чтобы обеспечить параллельное исполнение, система должна изолировать ввод ИИ от физических действий пользователя. Возможны два подхода к реализации:

Подход	Как работает	Компромисс
Маршрутизация на целевое окно	macOS позволяет отправлять события конкретным Process Identifiers (PID). Codex направляет синтезированные клики напрямую в цикл событий целевого приложения, минуя глобальный аппаратный курсор.	Меньше накладных расходов; требует точного наведения на окно.
Виртуальные фреймбуферы	Система поднимает headless-слой виртуального рабочего стола. Codex «видит» и работает в этом невидимом пространстве, пока пользователь продолжает трудиться в основном окружении без помех.	Выше потребление памяти; более строгие гарантии изоляции.

Подход с виртуальным фреймбуфером согласуется с механикой, замеченной, когда Anthropic выпустила собственную способность Computer Use, — это указывает, что паттерн может становиться отраслевым стандартом для десктопных ИИ-агентов.

Перспективы: мир после API

Последствия выходят далеко за рамки технической реализации. Решив конвейер «от зрения к действию» на уровне ОС, OpenAI сделал традиционные API необязательными. Мы входим в эпоху Large Action Model (LAM).

Практические следствия:

Интеграция унаследованного ПО: Корпоративные инструменты 2008 года без API? Codex он не нужен. Он открывает приложение, навигирует по интерфейсу, копирует данные и вставляет их в современный дашборд.
Ограничения платформ: Платформы, ограничивающие доступ разработчиков через агрессивный rate limiting API? Codex открывает веб-браузер и ведёт интерфейс напрямую — как сделал бы человек.
Кросс-прикладные рабочие процессы: Задачи, прежде требовавшие кастомного middleware между разрозненными приложениями, теперь оркестрируются одной инструкцией на естественном языке.

Индустрия ПО десятилетиями строила мосты между приложениями. Освоив GUI macOS, Codex сделал так, что приложениям больше не нужно общаться друг с другом. ИИ пользуется ими от нашего имени.

FAQ

Как Codex «видит» экран на macOS?

Codex использует хост-приложение, которое с высокой частотой делает скриншоты рабочего стола. Затем мультимодальная модель зрения выполняет над этими кадрами семантическую сегментацию, идентифицируя элементы UI — кнопки, меню, текстовые поля — по их внешнему виду, а не по лежащему в их основе коду или тегам доступности.

Какие фреймворки macOS использует Codex для симуляции кликов и нажатий?

Скорее всего, Codex взаимодействует с Quartz Event Services и Accessibility API от Apple. Он синтезирует виртуальные CGEvents (например, mouseDown и mouseUp) и внедряет их в системную очередь событий macOS, делая этот ввод неотличимым от событий физической периферии.

Как Codex работает в фоне, не перехватывая курсор?

Вероятно, система использует либо маршрутизацию на целевое окно — отправку событий напрямую конкретным Process Identifiers (PID), — либо виртуальные фреймбуферы, создающие невидимое рабочее пространство, где ИИ действует независимо, тогда как физический курсор пользователя остаётся незатронутым.

Что такое Large Action Model (LAM) и чем она отличается от LLM?

Large Action Model расширяет возможности Large Language Model от генерации текста к исполнению реальных задач. В то время как LLM генерирует ответы, LAM воспринимает окружение через зрение, рассуждает о том, какие действия предпринять, и выполняет их через инъекцию ввода на уровне системы. Codex представляет практическую реализацию концепции LAM.

2026年7月4日

PromptKit на iOS: от SSH-клиента Panic до AI-вайб-кодинга

PromptKit на iOS представляет собой двойной фронт мобильной разработки: профессиональное управление удалёнными серверами через Prompt 3 от Panic и зарождающийся рабочий процесс «вайб-кодинга» на базе AI. Нужно ли управлять серверной инфраструктурой через SSH-терминалы или генерировать Swift-код естественным языком совместно с Claude 3.5 Sonnet — в 2026 году iOS стала основной платформой для высокоскоростного развёртывания приложений.

Что такое Prompt от Panic? Золотой стандарт SSH-терминалов для iOS

Prompt от Panic (версия 3) повсеместно считается премиальным эмулятором терминала для iPhone и iPad. Он рассчитан на разработчиков, которым нужны десктопные возможности SSH на мобильных устройствах. Для инженеров, работающих в парадигме mobile-first, он служит мостом, позволяющим управлять серверной инфраструктурой с той же отзывчивостью, что и в терминале macOS.

По данным AppsTorrent, текстовый движок в Prompt 3 в 10 раз быстрее предыдущих версий. Он использует GPU-ускорение для обработки объёмных лог-файлов и сложного вывода терминала без задержек, а также интегрируется с iOS Secure Enclave для аутентификации через FaceID и TouchID, сохраняя приватные ключи в аппаратно зашифрованном виде.

Ключевые возможности, формирующие опыт Prompt 3:

Panic Sync: синхронизирует серверы, пароли и приватные ключи между iOS и macOS.
Clips: библиотека для сохранения часто используемых команд (например, sudo systemctl restart nginx), которые запускаются одним касанием.
Mosh и Eternal Terminal: поддержка роуминговых соединений, остающихся активными при переключении с Wi-Fi на 5G или при пробуждении устройства из сна.

Prompt 3 против Termius: какой SSH-клиент лучше?

Возможность	Prompt 3	Termius
Ориентация на платформу	Экосистема Apple (iOS + macOS)	Кроссплатформенный (iOS, Android, Windows, Linux)
Текстовый движок	GPU-ускоренный, в 10 раз быстрее предыдущих версий	Стандартная отрисовка
Безопасность	Интеграция с Secure Enclave, FaceID/TouchID	Cloud Vault для совместного использования учётных данных командой
Поддержка SFTP	Базовая	Полноценная
Лучше всего подходит	Индивидуальным разработчикам в экосистеме Apple	DevOps-командам на нескольких платформах

Prompt 3 лидирует внутри экосистемы Apple благодаря нативному ощущению и GPU-скорости. Однако Termius чаще выбирают DevOps-команды, работающие одновременно с Windows и Linux. Termius предлагает более широкую поддержку SFTP и «Cloud Vault» для командного хранения учётных данных. Для индивидуальных разработчиков, желающих получить самый быстрый и наиболее Mac-подобный терминальный опыт на iPad, движок и интеграция Prompt с Secure Enclave дают явное преимущество как в безопасности, так и в отзывчивости.

Что такое вайб-кодинг? Создание iOS-приложений через AI-промпты

«Вайб-кодинг» означает смену парадигмы в создании программного обеспечения. Вместо построчного написания кода Swift авторы используют инструкции на естественном языке — промпты — чтобы направлять AI-агентов. Разработчик задаёт «вайб» (намерение, дизайн и логику), а модели вроде Claude 3.5 Sonnet берут на себя реализацию.

В текущем ландшафте iOS именно Claude 3.5 Sonnet и интерфейс «Claude Code» являются основными инструментами, двигающими этот подход. Разработчики часто начинают с «Genesis Prompt» — детальной, исчерпывающей инструкции — чтобы за минуты сгенерировать каркас всего проекта на SwiftUI. Код превращается в commodity, а не в ремесленно создаваемый артефакт.

Скорость впечатляет. Как показывает одно кейс-исследование на Reddit, разработчик создал функциональное, готовое к публикации в App Store iOS-приложение за 5 часов, используя единственный хорошо структурированный промпт. Однако, как отмечает Dragos Roua, эта лёгкость создания меняет рыночные динамики: теперь реальная ценность кроется в быстрой итерации и уникальном продуктовом видении, а не в умении писать синтаксис.

Воркфлоу Dual-Prompt: одновременное управление серверами и кодом

Современная iOS-разработка всё чаще опирается на стратегию «Dual-Prompt»: AI-промпты для фронтенда и Prompt 3 от Panic — для бэкенда. Такой воркфлоу позволяет разработчикам оставаться внутри экосистемы iOS, создавая сложные, управляемые данными приложения.

AI-промптинг: использовать Claude 3.5 Sonnet для генерации SwiftUI-views, управления состоянием и логики API.
Управление через терминал: через Prompt 3 подключаться по SSH к VPS (например, DigitalOcean или AWS), разворачивать бэкенд на Node.js или Python и управлять базами данных.

Соединяя AI-генерируемый код и ручное управление сервером, появляется возможность разворачивать полноценные full-stack-решения прямо с iPad. Разработчик может промптнуть AI написать Swift-функцию, получающую данные из REST API, а затем переключиться на Prompt 3, чтобы в реальном времени проверить логи сервера и убедиться, что эндпоинт корректно отвечает.

Ультимативный Genesis Mega Prompt для iOS и StoreKit 2

Эффективный вайб-кодинг требует структурированного шаблона, чтобы AI не упустил технические требования. «Genesis Mega Prompt» должен покрывать:

Компонент	Что указывать	Пример
Обзор проекта	Название приложения, ключевые функции, целевая версия iOS	«Фитнес-трекер, iOS 18+»
Технологический стек	Фреймворк, архитектура, модель конкурентности	SwiftUI, MVVM, Swift Concurrency
Интеграция StoreKit 2	Современные API покупок	`Product.products(for:)`, `product.purchase()`
Дизайн-система	Цвета, типографика, отступы	HEX-коды, тач-таргеты 44pt

При интеграции StoreKit 2 через AI явно указывайте «modern StoreKit 2 Swift API», чтобы избежать генерации устаревшего кода. Это гарантирует, что AI реализует реактивные кнопки покупки и проверки прав доступа, которые автоматически обновляют UI при подписке пользователя.

Ключевые инструменты разработчика: от Expo CLI до Blink Shell

Помимо инструментов Panic, в набор iOS-разработчика 2026 года входит несколько утилит для кроссплатформенной и локальной разработки:

Инструмент	Основной сценарий	Ключевая возможность
Expo CLI	Разработка на React Native	`npx expo run:ios` для нативной компиляции
Blink Shell	Интегрированный терминал + IDE	Встроенный модуль VS Code (Code Server)
Termius	Кроссплатформенный SSH	Синхронизация между iOS, Android, Windows

Expo CLI оптимален для быстрой разработки мобильных приложений на JavaScript и TypeScript с предсборкой нативных модулей.
Blink Shell идеален для разработчиков, которым нужен интерфейс VS Code рядом с терминалами Mosh и SSH на iPad.
Termius лидирует в синхронизации списка серверов между устройствами iOS, Android и Windows.

Заключение

Слияние высокопроизводительного управления по SSH в Prompt 3 и AI-управляемого вайб-кодинга с Claude 3.5 Sonnet превратило iPhone и iPad в полноценные профессиональные рабочие станции. Сочетая GPU-ускоренный терминал, работающий в 10 раз быстрее, для управления серверами с быстрой AI-ассистированной генерацией приложений, разработчики могут пройти путь от концепции до App Store быстрее, чем когда-либо.

Практический следующий шаг — настроить Prompt 3 для безопасного удалённого доступа к серверам и поэкспериментировать с Genesis Mega Prompt в Claude 3.5 Sonnet, чтобы начать выпускать проекты на SwiftUI прямо с iPad.

FAQ

Какой SSH-терминал лучший для iPad и iPhone в 2026 году?

Prompt 3 от Panic — основной выбор для тех, кому важны скорость и глубокая интеграция с iOS: он оснащён GPU-ускоренным текстовым движком, который в 10 раз быстрее конкурентов. Termius лучше подходит для команд, которым нужна кроссплатформенная синхронизация между Windows и Linux. Blink Shell идеален для разработчиков, которым требуется встроенная среда VS Code на iPad.

Как использовать Genesis Prompt для создания iOS-приложения с AI?

Передайте AI-модели вроде Claude 3.5 Sonnet высокоуровневое архитектурное описание, включающее требования к SwiftUI, паттерны MVVM и специфические потребности во фреймворках, такие как StoreKit 2. AI использует эту спецификацию как «единственный источник истины» для генерации шаблонного кода, UI-компонентов и логики приложения, что позволяет итерировать над продуктовым видением, а не над синтаксисом.

В чём разница между Prompt 3 и Termius для iOS-разработчиков?

Prompt 3 создан исключительно для экосистемы Apple и делает ставку на глубину macOS и iOS, безопасность через Secure Enclave и высокоскоростную отрисовку текста. Termius — мультиплатформенный инструмент с более широкой поддержкой протоколов (SFTP, Telnet) и функциями, рассчитанными на команды, не использующие только технику Apple.

Можно ли действительно разворачивать full-stack-приложение с iPad?

Да. Используя воркфлоу Dual-Prompt, можно генерировать фронтенд-код на SwiftUI с помощью Claude 3.5 Sonnet и управлять серверной инфраструктурой через SSH-терминал Prompt 3. Это позволяет писать код, настраивать серверы, управлять базами данных и разворачивать приложения — всё с iPad, без необходимости в традиционной десктопной среде разработки.

2026年7月4日

Оптимизация фото для веба: руководство по производительности 2026

Правильная работа с изображениями — зачастую самый быстрый способ ускорить веб-сайт. В 2026 году стандартный рабочий процесс состоит из трёх шагов: изменение размера, сжатие и конвертация формата. Такой подход позволяет страницам оставаться конкурентоспособными в эпоху, когда пользователи ждут мгновенной загрузки, а алгоритмы Google повышают сайты с высоким качеством страницы.

Формат AVIF обогнал WebP и стал предпочтительным выбором для веб-изображений. По данным SimpleResizer, AVIF даёт примерно на 20% лучшее сжатие, чем WebP, при сопоставимом визуальном качестве, и теперь поддерживается практически всеми современными браузерами.

Шаг 1: Точное изменение размера и масштабирование по соотношению сторон

Отдача изображения, значительно превышающего отображаемые размеры, — одна из самых распространённых ошибок в производительности. Данные DebugBear показывают, что изменение размера исходного фото весом 4,3 МБ до стандартных веб-размеров (например, 1266 x 845 пикселей) способно снизить вес файла на 89%.

Перед загрузкой проверьте максимальную ширину контентной области вашего сайта. Для большинства блогов она находится в диапазоне от 800 до 1200 пикселей. Такие инструменты, как Canva или Photoshop, позволяют масштабировать изображения до точных размеров. Для плотных Retina-дисплеев отдавайте версию 2x (например, 2400px для контейнера шириной 1200px) с помощью адаптивной разметки, но никогда не загружайте напрямую исходный файл размером более 6000 пикселей из камеры.

Шаг 2: Выбор между сжатием с потерями и без потерь

Сжатие удаляет данные, которые файлу не нужны. В 2026 году разработчики обычно выбирают между двумя методами:

Тип сжатия	Как работает	Лучший сценарий	Типичное значение качества
С потерями (Lossy)	Отбрасывает часть визуальных данных для минимизации размера	Фотографии, изображения для блога, продуктовые снимки	75% – 82%
Без потерь (Lossless)	Сохраняет все исходные данные попиксельно	Логотипы, технические схемы, иконки	100%

Как отмечает purshoLOGY, для фотографического контента сжатие с потерями должно быть выбором по умолчанию — это позволяет держать сайты быстрыми. Форматы без потерь, такие как PNG, стоит резервировать для ситуаций, где действительно нужна прозрачность или простая линейная графика.

Шаг 3: Выбор формата — AVIF, WebP или JPEG

Выбранный формат напрямую влияет и на размер файла, и на совместимость с браузерами.

Формат	Сжатие относительно JPEG	Поддержка браузерами (2026)	Лучшая роль
AVIF	Меньше примерно на 50%	Универсальная	Основной формат
WebP	Меньше примерно на 30%	Универсальная	Запасной вариант
JPEG	Базовый уровень	Универсальная	Устаревший fallback

Влияние на Core Web Vitals: LCP и CLS

Изображения напрямую влияют на поисковые позиции. По данным SimpleResizer, в 70% веб-страниц изображение является элементом Largest Contentful Paint (LCP) — крупнейшим видимым блоком в момент загрузки страницы. Тяжёлая картинка в шапке утяжеляет показатели LCP, вслед за чем могут упасть и позиции.

Cumulative Layout Shift (CLS) не менее важен. Он возникает, когда браузер не может определить размеры изображения до его загрузки, из-за чего текст «прыгает» после появления картинки. Всегда указывайте атрибуты width и height, чтобы браузер сразу резервировал место.

Атрибут fetchpriority=»high»

Распространённая ошибка — «переоптимизация» за счёт ленивой загрузки каждого изображения. Если loading="lazy" полезен для контента ниже первого экрана, то для картинки в шапке (элемента LCP) он фактически замедляет работу.

Лучшая практика 2026 года: убирайте ленивую загрузку с изображений выше первого экрана и вместо неё добавляйте fetchpriority="high". Это подаёт браузеру сигнал загрузить конкретное изображение в приоритетном порядке, опережая менее критичные скрипты и стили.

Современная доставка: внедрение CDN и адаптивный код

Даже небольшое изображение ощущается медленным, если ему приходится пересекать континенты. Сеть доставки контента (CDN), такая как Cloudflare или BunnyCDN, хранит копии изображений на серверах, географически близких к посетителям.

Метаданные EXIF — GPS-координаты, настройки камеры и прочие скрытые данные, встроенные в фотографии со смартфона, — также следует удалять. Это экономит от 2% до 10% веса файла и защищает приватность того, кто сделал снимок.

Фрагмент кода: оптимальный тег изображения с резервными вариантами

Используйте элемент picture, чтобы отдавать AVIF современным браузерам, сохраняя цепочку fallback для старых клиентов:

picture
  source type image/avif srcset photo.avif
  source type image/webp srcset photo.webp
  img src photo.jpg width 1200 height 675 alt "Descriptive alt text" loading lazy decoding async

Тест в GIMP показал, что сжатие JPEG с 1072 КБ до 384 КБ (на 64%) с помощью таких техник, как Chroma subsampling (4:2:0), даёт заметный прирост производительности без сколько-нибудь ощутимой потери качества.

Лучшие инструменты для автоматической оптимизации изображений

Инструмент	Тип	Сильная сторона	Для чего лучше всего
Squoosh	Ручной / Бесплатный	Полный контроль над настройками AVIF и WebP	Разовое сжатие
TinyPNG	Ручной / Бесплатный	Быстрое пакетное сжатие	Быстрые массовые задачи
Imagify	Автоматический / Платный	Сканирует всю медиатеку, конвертирует в AVIF, отдаёт через CDN	Сайты на WordPress
EWWW Image Optimizer	Автоматический / Платный	Полная автоматизация пайплайна с CDN	Интернет-магазины

Как отмечает SimpleResizer, для интернет-магазинов Google Images может обеспечивать 20–30% всего поискового трафика, поэтому автоматизированная оптимизация становится измеримым драйвером выручки.

Заключение

Оптимизация фотографий для веба в 2026 году означает управление тремя рычагами: выбор формата (AVIF как основной, с fallback), инфраструктура доставки (CDN) и подсказки приоритета браузеру (fetchpriority). Быстрый сайт больше не является опцией — это требование для удержания пользователей и высоких позиций в поиске.

Практический шаг: прогоните свой сайт через PageSpeed Insights, чтобы выявить узкие места LCP. Затем настройте автоматический пайплайн AVIF с JPEG-fallback, чтобы сайт оставался быстрым и доступным на любом устройстве.

FAQ

Влияет ли оптимизация изображений на их визуальное качество на Retina-дисплеях?

Дисплеи с высокой плотностью пикселей требуют разрешения 2x или 3x для чёткой картинки. Используйте атрибут srcset, чтобы отправлять версии высокого разрешения только тем устройствам, которые способны их отобразить. Современные форматы вроде AVIF сохраняют значительно больше деталей при таких разрешениях, чем старые JPEG-файлы, причём при существенно меньшем размере файла.

Что выбрать в качестве формата изображений по умолчанию в 2026 году — AVIF или WebP?

AVIF — лучший выбор для большинства задач. Он даёт примерно на 20% лучшее сжатие, чем WebP, при том же уровне качества, и его поддерживают почти все актуальные браузеры. Тем не менее всегда подключайте fallback на WebP или JPEG через элемент picture, чтобы сайт оставался рабочим для посетителей со старыми браузерами или устройствами.

Как исправить ошибку «Largest Contentful Paint image was lazily loaded»?

Определите изображение шапки — обычно это крупный баннер или продуктовое фото в верхней части страницы. Удалите атрибут loading="lazy" у конкретного тега img, поскольку ленивая загрузка указывает браузеру отложить загрузку. Вместо этого добавьте fetchpriority="high", чтобы браузер сразу начал загружать это изображение.

Безопасно ли удалять метаданные EXIF из всех фотографий на сайте?

Да, и это рекомендуется. Удаление данных EXIF обычно экономит от 2% до 10% веса файла. Также это защищает приватность, удаляя GPS-координаты и другие конфиденциальные сведения. Единственное исключение — если в вашей отрасли метаданные об авторстве или авторских правах требуются по закону.

2026年7月4日