Zilmac блог
← Назад к технической практике

Как изменить права Agent после отчёта OpenAI о безопасности ИИ от 16 сентября? Практический список действий разработчика на 2026 год

Безопасность ·~1 мин чтения

Шесть случаев аномального поведения вошли в официальную рамку OpenAI для отчётов о несоответствии моделей; подробности и границы раскрытия приведены в первичном документе OpenAI. Это не означает, что разработчикам нужно немедленно переписывать архитектуру Agent или менять модель. Действовать следует иначе: сегодня инвентаризировать высокоопасные инструменты, в первую неделю сузить права и отделить креденшелы, а затем проверить реальные сценарии на возможность обхода подтверждений, утечки секретов и невозвратных изменений.

Этот материал предназначен разработчикам AI Agent, которые переводят вызовы инструментов из демонстрационного прототипа в рабочий бизнес-контур. Он также пригодится инженерам по безопасности, отвечающим за поведение моделей, креденшелы и внешние побочные эффекты, и техническим руководителям, которым нужно оценить последствия отчёта без эмоциональной перестройки всей платформы.

Граница вывода: официальный отчёт фиксирует рамку раскрытия и описанные случаи. Модельный риск, инженерная рекомендация и юридическая обязанность — разные утверждения, их нельзя соединять в одну причинную цепочку.

Последнее обновление: 22 сентября 2026 года. Факты сверены с официальным отчётом OpenAI, документацией Agents API, материалами по безопасности окружений и описанием Hosted Sandbox. При публикации новых случаев, изменении механики прав или обновлении рекомендаций этот план нужно пересмотреть.

Что именно изменилось в оценке риска после отчёта

>

Формулировка «аномальное поведение» не равна формулировке «подтверждённая атака». В отчёте OpenAI описана модель наблюдения за поведением, которое может расходиться с ожидаемыми ограничениями или целями. Для разработчика это важная граница: нельзя приписывать конкретному кейсу нераскрытые детали, додумывать путь эксплуатации или объявлять любой ошибочный ответ доказательством misalignment.

При этом инженерный вывод вполне конкретен. Даже редкая ошибка становится существенной, если Agent способен:

  • записать или удалить файл в общей рабочей области;
  • выполнить код с доступом к сети, процессам или файловой системе;
  • отправить письмо, сообщение или запрос от имени сотрудника;
  • изменить запись в базе данных;
  • вызвать производственный API;
  • создать, отозвать или изменить идентичность;
  • инициировать платёж или действие с финансовым последствием.

Официальное описание безопасности Agents-окружений полезно читать не как готовую политику для конкретной компании, а как перечень границ, которые нужно проверить в собственной реализации. Отчёт отвечает на вопрос о наблюдении за поведением моделей. Он не освобождает команду от проектирования полномочий, журналов и процедуры отката.

Следовательно, немедленная полная замена архитектуры оправдана только при обнаружении системного дефекта: модель получает долговечный секрет, инструмент не ограничивает ресурс, высокоопасная операция выполняется без подтверждения, а внешнее состояние невозможно восстановить или проверить. Если эти контуры существуют, первая реакция должна быть не «сменить всё», а «сузить и доказать безопасность доступа».

Сегодня: карта инструментов и внешних последствий

>

Начинать стоит не с промпта, а с реестра инструментов. Для каждого вызова фиксируются не только название и назначение, но и максимально возможный ущерб. Формулировка «инструмент работы с файлами» слишком общая: чтение отчёта, перезапись конфигурации и удаление каталога требуют разных прав.

Полезно разложить действия по четырём осям:

  • объект — файл, база, сообщение, учётная запись, производственный сервис;
  • операция — чтение, создание, изменение, удаление, отправка, платёж или смена идентичности;
  • обратимость — можно ли отменить действие автоматически и проверить результат;
  • граница — проект, пользователь, окружение, организация или весь аккаунт.

Высокоопасным считается не только удаление. Отправка корректного, но несанкционированного письма может иметь такой же внешний эффект, как изменение строки в базе. Чтение секретного файла тоже относится к критичным действиям, даже если Agent ничего не записывает: полученный секрет может попасть в ответ, журнал, трассировку или следующий вызов.

Снимок реестра перед изменениями

До начала переделки команда должна получить список:

  • всех инструментов, доступных каждой роли Agent;
  • всех переменных окружения и файлов, содержащих токены;
  • сетевых направлений и производственных API;
  • операций, которые требуют ручного решения;
  • мест хранения журналов и срока их доступности;
  • процедур остановки, повторного запуска и отката.

Недопустимо считать sandbox достаточной защитой по одному факту её наличия. В документации Hosted Sandbox нужно проверить реальную границу файлов, сети, секретов и рабочего состояния. Если часть действий вынесена в собственную инфраструктуру, сравнение следует делать с описанием self-hosted-окружения, а не с рекламным представлением об «изолированном выполнении».

Первая неделя: минимальные права вместо универсального доступа

>

Права Agent должны описывать задачу, а не удобство интеграции. Универсальный токен с доступом ко всему проекту сокращает объём кода на старте, но превращает ошибку планирования в изменение большого внешнего контура.

Практическая схема выглядит так:

  • отдельное разрешение на чтение;
  • отдельное разрешение на создание или изменение;
  • отдельное разрешение на удаление;
  • отдельное разрешение на отправку наружу;
  • отдельное разрешение на производственный API;
  • отдельное разрешение на операции с идентичностью и платежами.

Затем каждое разрешение связывается с ресурсом. Агенту поддержки может быть разрешено читать тикеты конкретной очереди, но не таблицу с секретами и не производственную базу. Агенту для тестирования можно предоставить запись в изолированную рабочую область, но не право публиковать результат без проверки.

Не следует передавать модели долгоживущий секрет только потому, что она генерирует код. Лучше использовать короткоживущий токен, прокси-инструмент с фиксированными действиями или сервис-посредник, который сам проверяет ресурс и операцию. Модель должна запросить действие, а не получить полномочия на самостоятельную выдачу новых полномочий.

Подтверждение должно быть независимым

Ручное подтверждение не должно сводиться к вопросу «продолжить?». Оператору нужно показать:

  • что будет изменено;
  • какой ресурс затрагивается;
  • какие данные уйдут наружу;
  • кто является получателем;
  • можно ли отменить действие;
  • какой план восстановления предусмотрен.

Для рискованных операций полезна вторая проверка — например, независимое правило, сверка области ресурса или ограничение суммы. Полагаться на саму модель как на единственного контролёра нельзя: Agent не должен сам решать, что его действие безопасно, а затем сам же подтверждать собственное решение.

Сравнение вариантов контроля

>

Ниже — рабочая матрица для выбора между сохранением текущего контура, точечной переделкой и сменой среды исполнения. Оценки являются инженерной эвристикой для принятия решения, а не заявлением о гарантированной безопасности конкретной технологии.

Вариант Когда подходит Основной контроль Слабое место Оценка для первого шага
Оставить архитектуру без изменений Только при полном аудите, ограниченных инструментах и обратимых действиях Проверка журналов и тестового набора Неизвестные права и скрытые секреты остаются Низкая
Сузить права в текущем контуре Большинство рабочих Agent с понятным реестром инструментов Минимальные разрешения, прокси и подтверждения Требуется переработка политики и интеграций Высокая
Вынести код в Hosted Sandbox Agent выполняет непроверенный код или временные операции Изоляция рабочей области и раздельные границы доступа Нужно отдельно проверить сеть, секреты и перенос состояния Высокая при корректной настройке
Использовать self-hosted-окружение Нужны собственные сетевые правила, аудит и инфраструктурные ограничения Контроль платформенной команды Ошибки настройки остаются ответственностью команды Средняя или высокая по зрелости платформы
Полностью заменить модель Тесты показывают устойчивую проблему, которую нельзя компенсировать политикой Новая модель и повторная валидация Новая модель тоже требует тех же ограничений Только после доказательств

Такая матрица предотвращает распространённую ошибку: считать смену модели универсальным исправлением. Если причина риска — слишком широкий токен, новая модель унаследует тот же ущерб. Если же тесты показывают, что конкретная модель регулярно обходит заданные правила даже при минимальных правах, вопрос о замене становится обоснованным.

Креденшелы, рабочая область и производственный API

>

Разделение идентичностей следует проводить между самой моделью, средой выполнения, инструментальным прокси и бизнес-сервисом. Агент, который пишет код в рабочей области, не должен автоматически получать ту же идентичность, что и сервис, публикующий изменения в производство.

Минимальная граница выглядит следующим образом:

  1. модель формирует намерение и аргументы;
  2. оркестратор проверяет, разрешена ли операция этому заданию;
  3. инструментальный прокси проверяет ресурс, метод и срок действия токена;
  4. изолированная среда выполняет код без доступа к лишним секретам;
  5. производственный сервис принимает только явно разрешённый запрос;
  6. журнал связывает решение, вызов и фактическое изменение.

Если токен всё же должен попасть в среду, он не должен быть доступен произвольному коду и не должен сохраняться в снимке рабочей области. Отдельно проверяется, не появляется ли секрет в стандартном выводе, сообщении об ошибке, трассировке или истории команд.

Для команд, которые тестируют Agent на удалённом Mac, важны те же границы: облачная рабочая область не должна быть незаметным мостом к личным ключам разработчика. Доступ к рабочему столу, файлам проекта и бизнес-API следует разделять по разным ролям и срокам действия. Общие сведения о среде и ответственности оператора можно сверить на странице о компании и её инфраструктурном подходе, а сведения о рабочих сценариях удалённого Mac — в обзоре облачной Mac-среды; технические права всё равно должны проверяться в конкретной конфигурации.

Инженерное правило: если секрет нельзя отозвать отдельно от всей системы, он слишком тесно связан с Agent. Отзыв токена должен быть штатной операцией, а не аварийным отключением всей платформы.

Первый разбор: фиксированный набор аномальных сценариев

>

После ограничения прав нельзя ограничиваться успешным демонстрационным сценарием. Нужен фиксированный набор задач, который запускается после изменения модели, инструмента, политики, сетевого правила или рабочего окружения.

В него стоит включить:

  • попытку внедрения инструкции через файл, веб-страницу или сообщение;
  • запрос к ресурсу за пределами назначенной области;
  • неверную цель, когда синтаксически корректное действие направлено не тому получателю;
  • повторный вызов после тайм-аута;
  • частичный сбой, при котором первый шаг уже изменил состояние;
  • попытку раскрыть токен через ответ или журнал;
  • ложное утверждение, что операция завершена;
  • запрос на обход ручного подтверждения;
  • конфликт между инструкцией пользователя и политикой инструмента.

Во время проверки наблюдается не только итоговый ответ. Нужно сопоставить намерение, фактический вызов, решение политики и состояние внешней системы. Agent может сообщить об отказе, хотя запрос уже успел изменить базу, либо объявить успех при неудачном вызове. Именно поэтому текст ответа модели не является доказательством результата.

Какие поля сохранять

Для каждой сессии полезно сохранять версию модели, идентификатор задания, входные инструкции, список вызовов, аргументы после маскирования секретов, решение политики, результат инструмента, ошибки, повторы, изменения внешнего состояния и решение оператора. Должны быть видны также остановка, откат и причина повторного запуска.

Логи должны позволять ответить на пять вопросов:

  • что Agent получил;
  • какое действие предложил;
  • какое действие реально выполнилось;
  • кто или что разрешило его;
  • можно ли восстановить состояние.

При этом журнал не должен становиться вторым каналом утечки. Секреты маскируются до записи, а доступ к трассировкам ограничивается по ролям. Подробные логи без контроля доступа лишь переносят проблему из инструмента в систему наблюдаемости.

Долгосрочное управление изменениями

>

Политика должна запускать повторную проверку не только при обновлении модели. Триггерами становятся добавление нового инструмента, изменение области ресурса, выпуск новой версии оркестратора, замена сетевого маршрута, изменение поставщика, перенос рабочей области и расширение списка секретов.

Для каждого инструмента назначается состояние:

  • сохранить — риск понятен, права минимальны, откат проверен;
  • понизить — убрать запись, удаление, сеть или производственный доступ;
  • изолировать — перенести выполнение в отдельную рабочую область;
  • удалить — убрать инструмент до появления доказательств безопасности.

Команды должны заранее определить владельца решения. Разработчик отвечает за контракт инструмента, инженер по безопасности — за политику и аудит, владелец платформы — за границы среды и секреты, бизнес-владелец — за допустимый внешний эффект. Без такого распределения ручное подтверждение быстро превращается в формальность, потому что никто не обязан проверить последствия.

Обзор общей архитектуры Agents-окружений OpenAI помогает разделить уровень модели, инструмента, среды и внешнего сервиса. Это особенно важно для восстановимых рабочих областей: sandbox может уменьшить радиус ошибки при выполнении кода, но не отменяет проверку исходящих запросов, секретов и действий, выполняемых вне sandbox.

Матрица действий для разных команд

>
Команда Первый обязательный шаг Кто принимает решение Что должно появиться после проверки
Индивидуальный разработчик Выписать все инструменты и убрать долгоживущие токены из окружения Agent Владелец проекта Ограниченная рабочая область, журнал вызовов и ручной стоп для внешних действий
Небольшая команда Разделить тестовые и производственные идентичности, затем добавить подтверждение для записи и отправки Технический руководитель Реестр инструментов, ответственный за откат и фиксированный набор тестов
Корпоративная платформа Связать реестр прав, секреты, сетевые политики и аудит с процессом изменений Владелец платформы совместно с безопасностью Формальная политика, повторная проверка при каждом изменении модели или инструмента

Эта классификация не требует одинакового уровня бюрократии от всех. Индивидуальному разработчику достаточно изолированной области и понятного стоп-сигнала, тогда как корпоративная платформа должна доказать, кто выдал право, на какой срок, для какого ресурса и что произошло после вызова.

Три контрольных сравнения перед внедрением

>
Контрольная зона Приемлемая схема Тревожный признак Решение
Права Операция ограничена задачей и ресурсом Один токен даёт чтение, запись и удаление во всём проекте Разделить разрешения и сузить область
Креденшелы Короткоживущий доступ через прокси Секрет лежит в промпте, репозитории или общей среде Отозвать секрет и перенести проверку в прокси
Подтверждение Человек или независимая политика видит последствия Agent сам определяет, что риск отсутствует Добавить отдельную точку решения
Журнал Есть вход, вызов, решение, результат и состояние Сохраняется только финальный текст ответа Включить события инструмента и внешнее состояние
Откат Изменение можно отменить или восстановить из рабочей области После частичного сбоя неизвестно, что уже изменилось Ввести идемпотентность, снимок или процедуру восстановления

Если в любой строке получается тревожный признак, замену модели не следует считать первым исправлением. Сначала нужно закрыть конкретную дыру и повторить сценарий. Иначе команда не узнает, помогла ли новая модель или просто изменилась форма той же проблемы.

FAQ

>

Что следует вынести из отчёта OpenAI от 16 сентября?

Отчёт задаёт рамку для фиксации аномального поведения моделей и описывает шесть связанных случаев, но не доказывает, что каждый Agent уже атакован. Практический вывод для команды — проверить доступные инструменты, границы ресурсов, креденшелы, подтверждения и возможность остановки. Нераскрытые детали нельзя превращать в утверждение о конкретном способе эксплуатации.

Может ли необычное поведение модели изменить требования к правам?

Да, если Agent имеет широкие права и способен вызвать невозвратный внешний эффект. Однако необычный ответ сам по себе не означает, что нужно заменить модель. Сначала проверяются область ресурса, разделение чтения и записи, защита секретов, независимое подтверждение и журнал. Чем меньше разрешённый радиус действия, тем легче локализовать ошибку и доказать фактическое последствие.

Как сочетать минимальные права и ручное подтверждение?

Разрешения привязываются к конкретной задаче и ресурсу, а чувствительные действия выносятся в отдельный инструментальный прокси. Подтверждающему оператору показываются ресурс, операция, получатель, передаваемые данные и возможность отката. Agent не должен сам выдавать себе доступ, изменять область разрешений или подтверждать собственный запрос. Для повторяемых операций подходит независимая политика.

Какие данные нужны для расследования вызова инструмента?

Минимальный набор включает версию модели, задание, входные инструкции, вызванный инструмент, аргументы без секретов, решение политики, результат, ошибки, повторные попытки, внешнее изменение и решение оператора. Важны также тайм-ауты, частичные сбои и факт отката. Финальный ответ модели недостаточен, поскольку он не показывает, какое действие реально выполнилось.

Нужно ли сразу переписывать архитектуру?

Нет, если система уже ограничивает права, разделяет креденшелы, требует подтверждение для опасных действий, ведёт аудит и позволяет восстановить состояние. Полная перестройка становится разумной при отсутствии этих базовых механизмов либо при устойчивом обходе политики в повторяемом тесте. Сначала фиксируется набор сценариев, затем сравниваются результаты до и после точечных изменений.

Что делать вместо поспешной смены Agent

>

Для текущей схемы без изменений характерны три недостатка: широкие токены постепенно разрастаются, ручные подтверждения часто не показывают реальный внешний эффект, а журналы фиксируют ответ, но не всю цепочку инструментальных событий. Отдельная рабочая область и облачное выполнение могут уменьшить радиус ошибки и упростить восстановление, но только при раздельных идентичностях, сетевых правилах и контроле секретов.

Поэтому для временного проекта, тестирования нового Agent или воспроизводимой проверки сценариев аренда Mac через Zilmac может оказаться практичнее, чем быстро покупать отдельное устройство и самостоятельно поддерживать его окружение. Это не лучший выбор для постоянной тяжёлой нагрузки, требований к физическим интерфейсам или полностью локальных секретов. Перед запуском стоит сопоставить права, креденшелы и журнал с требованиями к изолированной рабочей области, а затем отдельно проверить Hosted Sandbox и многоагентную изоляцию по тем же критериям.

Начните с реестра инструментов и трёх вопросов: что Agent может изменить, какой секрет ему доступен и кто способен остановить действие. После этого решение о модели, среде исполнения или временной инфраструктуре будет основано на воспроизводимом тесте, а не только на тревоге после публикации отчёта.

Часто задаваемые вопросы

Что именно следует вынести из отчёта OpenAI от 16 сентября?

Отчёт описывает рамку для фиксации аномального поведения моделей и шесть связанных случаев, но сам по себе не доказывает, что конкретный Agent уже атакован или обязательно станет опасным. Для команды практический вывод другой: нужно проверить, какие инструменты доступны модели, какие внешние изменения они выполняют, где хранятся креденшелы и кто способен остановить действие.

Может ли необычное поведение модели повлиять на права инструментов?

Да, но не как автоматическое доказательство необходимости заменить модель. Ошибка, неверная цель, попытка обойти ограничение или ложное сообщение о завершении становятся опасными, когда Agent имеет широкую область ресурсов и невозвратные действия. Поэтому права стоит ограничивать задачей, ресурсом и временем, а чувствительные операции отделять от свободной генерации кода.

Как организовать минимальные права и ручное подтверждение для Agent?

Сначала разделите чтение, изменение и удаление, затем ограничьте каждый инструмент конкретным проектом, окружением или записью. Для отправки сообщений, изменения данных, платежей и смены идентичности добавьте подтверждение человека либо независимое правило. Модель не должна сама выдавать себе полномочия, продлевать креденшел или определять, что опасное действие уже разрешено.

Какие события нужно сохранять в журнале вызовов инструментов?

Сохраняйте версию модели и задания, идентификатор сессии, входной запрос, выбранный инструмент, аргументы после маскирования секретов, решение политики, результат, изменённое внешнее состояние и решение оператора. Важны также отказы, повторные попытки, тайм-ауты и причина отката. Одного текста ответа модели недостаточно: по нему нельзя надёжно восстановить цепочку действий.

Нужно ли сразу менять архитектуру после публикации отчёта?

Нет, если текущая архитектура уже позволяет ограничить права, остановить вызов, проверить внешнее состояние и восстановить рабочую область. Немедленно переписывать всё следует только при отсутствии аудита, разделения секретов, ручного контроля или отката для высокоопасных операций. Сначала проведите проверку на фиксированном наборе задач, а затем решайте, нужна ли другая модель или среда исполнения.

Что проверить дальше: практический план защиты Agent

Начните с аудита текущих разрешений и оставьте каждому Agent только те действия, которые необходимы для его задачи.

Затем настройте границы для учётных данных, ручные подтверждения и журналирование операций с учётом уровня риска. — Посмотреть варианты плана

Ограниченное предложение

Zilmac

Начните с аудита текущих разрешений и оставьте каждому Agent только те действия, которые необходимы для его задачи.

Вернуться домой
Ограниченное предложение Посмотреть планы