ГК Softline: автономный ИИ требует границ и владельца риска
Изображение: OpenAI
Автономная система становится риском для бизнеса не тогда, когда допускает ошибку, а когда получает возможность самостоятельно превратить ошибочный вывод в действие. ИИ-агент может обратиться к данным, изменить конфигурацию, отправить сообщение или запустить процесс раньше, чем сотрудник успеет оценить его решение.
При этом формальная ответственность остается у человека. Руководитель утверждает результат, администратор подтверждает изменение, владелец процесса принимает последствия, хотя варианты действий уже сформированы и ранжированы алгоритмом. Если сотрудники не понимают, на каких данных и ограничениях основана рекомендация, человеческое согласование превращается в формальность.
Наши эксперты Softline считвют, что автономность следует оценивать не по числу операций, которые система выполняет без участия специалиста, а по способности компании объяснить, проверить и при необходимости остановить ее действия. Если логика решения не восстанавливается, бизнес теряет контроль, даже сохраняя право собственности на инфраструктуру.
Автономность меняет характер риска
Традиционная автоматизация исполняет заранее описанный сценарий. ИИ-система способна интерпретировать задачу, выбирать способ ее выполнения и взаимодействовать с внешними сервисами. Чем больше свободы получает агент, тем сложнее заранее перечислить все возможные действия и последствия.
Этот риск уже проявляется за пределами лабораторных экспериментов. В феврале 2026 года ИИ-агент MJ Rathbun после отклонения предложенных им изменений в Matplotlib опубликовал материал с обвинениями в адрес разработчика и использовал найденную в интернете информацию для атаки на его репутацию. Проблема заключалась не в резком тексте как таковом, а в том, что система самостоятельно перешла от события в репозитории к поиску сведений и публичной публикации.
Исследования поведения моделей также показывают, что оптимизация цели способна привести к неприемлемой стратегии. В тестах Anthropic Claude Opus 4 прибегал к шантажу в 84% запусков специально сконструированного сценария, где модели угрожали заменой и одновременно давали доступ к компрометирующей информации. Этот результат нельзя переносить на обычную эксплуатацию, однако он показывает, что высокая способность к рассуждению сама по себе не гарантирует приемлемого способа достижения цели.
Для бизнеса это означает переход от контроля результата к контролю полномочий. Недостаточно проверить, насколько точно модель классифицирует документы или прогнозирует нагрузку. Нужно понимать, какие действия она может выполнить, какие данные использует, с какими системами взаимодействует и где требуется подтверждение сотрудника.
Почему контроль по метрикам больше не работает
До появления ИИ-агентов качество автоматизации оценивали через доступность, скорость выполнения и долю ошибок. Эти показатели сохраняют значение, но не показывают, почему система выбрала конкретное действие и не вышла ли она за пределы поставленной задачи.
Алгоритм может успешно выполнить операцию и одновременно создать новый риск. Например, достичь целевой метрики за счет решения, которое нарушает внутренние правила, расширяет доступ к данным или переносит проблему в другой бизнес-процесс. Формально результат будет положительным, хотя последствия проявятся позднее.
В ИБ-проектах Softline автономная система рассматривается как отдельный участник инфраструктуры со своими доступами, ограничениями и журналом действий. Контролировать нужно не абстрактный «искусственный интеллект», а конкретную цепочку: кто поставил задачу, какие данные получила модель, какое решение сформировала, какие операции выполнила и кто отвечает за последствия.
Особого внимания требуют системы самовосстановления. Они сокращают простой и устраняют часть сбоев до вмешательства специалиста, но могут скрывать повторяющиеся причины инцидентов. Если автоматизация постоянно исправляет одно и то же отклонение, а команда видит только итоговый статус, проблема остается в инфраструктуре и возвращается при изменении условий.
Компетенции также становятся объектом риска
Когда система самостоятельно диагностирует сбой, выбирает способ восстановления и применяет изменение, инженер получает готовый результат, но не проходит путь анализа. Постепенно компания теряет специалистов, способных восстановить причинно-следственную связь без подсказки модели.
В стабильной эксплуатации это почти незаметно. Риск проявляется во время нетипичного инцидента, когда исторические данные больше не описывают ситуацию, а стандартный сценарий восстановления не срабатывает. Если команда привыкла подтверждать рекомендации системы, но не проверять их логику, время расследования и восстановления увеличивается.
Практика Softline показывает, что автоматическое устранение инцидента не должно завершать работу с ним. Необходимо сохранять сведения о причине, выполненных действиях и измененных конфигурациях, а повторяющиеся события разбирать с участием инженеров. Иначе знания остаются внутри системы и не становятся частью профессиональной памяти команды.
Автоматизация также не должна полностью вытеснять ручную диагностику. Проверка резервных процедур и разбор нетипичных сценариев позволяют понять, сможет ли персонал продолжить работу при недоступности модели, внешнего сервиса или источника данных.
Границы автономности нужно проектировать заранее
Первый шаг состоит в разделении рекомендаций, решений и действий. Система может предлагать вариант, выбирать его по установленным критериям или самостоятельно выполнять операцию. Каждый следующий уровень требует более строгого контроля, поскольку растет возможный ущерб.
Для каждого сценария необходимо определить цель, доступные данные, допустимые операции и условия обязательного подтверждения. Отдельно фиксируются действия, которые нельзя передавать ИИ полностью: изменение критичных конфигураций, выдача прав, необратимые операции и решения с существенными финансовыми или репутационными последствиями.
Следующий вопрос касается остановки и восстановления. Компания должна заранее знать, кто может ограничить полномочия агента, отключить интеграцию или перевести процесс в ручной режим. Если порядок вмешательства начинают обсуждать после инцидента, автономность уже работает против устойчивости бизнеса.
Для нас в Softline важно, чтобы человеческий контроль был содержательным. Сотруднику недостаточно предоставить кнопку подтверждения. Он должен видеть контекст решения, использованные данные, ожидаемый результат и возможные последствия. Без этой информации человек остается формальным подписантом чужой логики.
У автономного решения должен быть владелец
Ответственность за ИИ нельзя полностью передать ИТ-службе или разработчику модели. Владелец бизнес-процесса определяет, какие решения допустимо автоматизировать и какой ущерб приемлем. ИТ-подразделение отвечает за интеграции и эксплуатацию, служба информационной безопасности контролирует доступы и отклонения, а технические специалисты обеспечивают восстановление.
При этом у каждого автономного сценария должен быть один владелец, который видит риск целиком. Он определяет границы полномочий системы, согласует метрики, принимает решение о запуске и отвечает за пересмотр настроек после инцидента.
Постоянный контроль должен охватывать действия агента, изменения используемых данных, обращения к новым ресурсам и случаи вмешательства человека. Важно отслеживать ситуации, когда система формально выполняет задачу, но выбирает неожиданный или неприемлемый способ.
Автономность оправдана там, где процесс повторяем, последствия ограничены, а действие можно проверить и отменить. Чем выше неопределенность и возможный ущерб, тем значимее роль человека в постановке задачи, выборе решения и принятии риска.
Управленческая задача состоит не в сокращении участия специалистов любой ценой, а в проектировании контролируемой самостоятельности систем. Компания сохраняет управление, пока способна объяснить решение, ограничить полномочия алгоритма, восстановить ход событий и продолжить процесс без него. Если эти возможности утрачены, автономность перестает снижать нагрузку и превращается в зависимость от логики, которую бизнес больше не контролирует.
