OpenAI внедрила Control Room для остановки рисковых ИИ-задач за 35 секунд
OpenAI развернула в своей исследовательской инфраструктуре централизованную систему управления Control Room. Она предназначена для остановки потенциально опасных процессов, связанных с использованием моделей искусственного интеллекта, и может прекратить генерацию новых ответов максимум за 35 секунд после команды на вмешательство.
Система объединяет разные типы исследовательских задач: обучение агентных моделей, их оценку и масштабную обработку данных. В отличие от обычных инструментов мониторинга, которые преимущественно фиксируют подозрительное поведение, Control Room может напрямую запретить модели получать новые данные и формировать ответы в рамках конкретного процесса.
Как устроена система
Архитектура Control Room связывает три компонента: саму исследовательскую задачу, механизм вывода и центральный сервис управления. Под исследовательской задачей может подразумеваться эксперимент с обучением с подкреплением, оценка модели или другой рабочий процесс. Для задач с агентными моделями требуется заранее утверждённое обоснование безопасности.
При запуске процесса его код запрашивает у Control Room уникальный идентификатор. Затем этот идентификатор добавляется к запросам, которые направляются в inference engine — системы, запускающие модели непосредственно на графических процессорах. Перед выполнением каждого запроса механизм вывода проверяет, сохраняется ли у задачи разрешение на работу.
Если исследователь или автоматизированная система мониторинга отдают команду на остановку, Control Room отклоняет следующий запрос, а механизм вывода прекращает генерацию ответов для соответствующего процесса. При этом сама исследовательская программа может продолжить выполняться, но больше не сможет получать новые результаты от моделей через авторизованные каналы.
Защита по принципу fail-closed
Control Room использует подход «автоматической блокировки»: если центральный сервис недоступен, выполнение новых запросов на вывод становится невозможным. Это снижает зависимость от того, насколько корректно разработчики реализовали проверки безопасности непосредственно в коде исследовательской задачи.
Максимальная заявленная задержка между командой на остановку и фактическим прекращением генерации составляет 35 секунд. По данным OpenAI, интервал связан с кэшированием, необходимым для обработки большого количества запросов на авторизацию. Компания рассчитывает в дальнейшем сократить задержку до нуля.
Связь с автоматическим мониторингом
Система интегрирована с инструментами автоматического контроля поведения моделей. OpenAI сообщила, что все процессы обучения передовых моделей с подкреплением сопровождаются отдельным нейросетевым монитором. Он анализирует действия модели и при обнаружении потенциальной проблемы может передать Control Room команду на остановку.
В качестве примера необходимости такого механизма компания привела недавний инцидент с DNS, когда монитор зафиксировал попытку агента связаться с внешним чат-ботом. OpenAI также заявляла, что намерена обучать модели на кэшированных копиях и симулированных версиях интернета, а не предоставлять им прямой доступ к реальной сети из-за непредсказуемости поведения таких систем.
