Ошибка ИИ-агента проверяет систему управления
Кто оценивает последствия, кто подписывает возврат и кто решает спор между бизнесом и ИБ
Условный случай. Утром служба поддержки видит, что у клиентов странные статусы заказов. Оказывается, ИИ-агент за ночь массово поменял их в клиентском процессе. Права на это ему выдали, системы работают, а результат неверный. В общем чате быстро набирается много людей, и каждый надеется, что решение примет кто угодно, только не он. Долг управляемости, о котором я писал в июле, это разрыв между работающим сценарием и контролем, которого еще нет (материал на CISOCLUB). Инцидент вскрывает этот разрыв за несколько часов. Систему управления проверяет простой тест. По каждому решению можно сразу назвать человека, срок и документ, или нельзя.
Начинается все с остановки. Право отключить агента закреплено за владельцем процесса, а он в отпуске. Дежурный отключить готов, но не знает, какие клиентские операции встанут вместе с агентом, и звонит за указаниями. Цену остановки считают заранее. Какие проверки готовят до инцидента, я перечислял в июльской статье. Здесь интереснее то, что происходит дальше.
Агент остановлен, и теперь надо понять масштаб. Тут обычно появляются две версии правды. ИБ считает затронутые данные, владелец процесса считает затронутые записи, и цифры не сходятся, а решать надо сейчас. Руководителю нужен один человек с последним словом и набор данных на первые часы. В наборе журнал действий агента, список затронутых записей, точка последнего корректного состояния и зависимые процессы.
Для ИИ оценка устроена сложнее. Агент работает цепочкой, каждый шаг опирался на предыдущий, и откатить один шаг мало. Журнал ведет другая команда, не владелец процесса. Если модель внешняя, оценка зависит от поставщика, и срок его ответа должен стоять в договоре. Приходится решать, чья это ошибка, модели, настроек агента или процесса вокруг него. Заодно решают, что делать с остальными агентами на той же версии модели и с теми же правами. Остановить их или оставить, решает тот же человек, который оценивает последствия, и основание для этого записано до инцидента.
Самое тяжелое решение, вернуть ли систему в работу. Подписывает его владелец процесса, потому что он отвечает за P&L и за повторную ошибку. Исполнитель готовит заключение, ИБ независимо проверяет его и вправе заблокировать возврат, если оценка риска или метод ее получения не выдерживают проверки. Когда владелец настаивает, а ИБ против, спор решает руководитель выше, которого назвали заранее, и срок решения записан в регламенте. Сами стороны этот спор не закрывают.
Я строю ИИ-бизнес и отвечаю за экономику внедрения, поэтому на такое решение смотрю сначала как на цену. Систему держат остановленной, пока вероятность повтора, умноженная на ущерб повтора, больше потерь простоя за срок проверки. Ущерб повтора равен числу затронутых записей, умноженному на стоимость исправления одной, плюс штрафы и стоимость обязательных уведомлений. Потери простоя равны выручке процесса за час, умноженной на часы до возврата, плюс договорные штрафы. Вероятность оценивает команда, которая эксплуатирует агента, по серии прогонов на копии данных. Серия дает оценку без гарантии, поэтому ИБ проверяет метод и задает запас. Остальные значения подставляет владелец процесса.
С остальными решениями проще. На восстановление заранее утверждают лимит расходов без повторного согласования и называют подписанта со сроком ответа. Об уведомлениях клиентов и регулятора решает один назначенный человек, а сроки задают договоры и закон, и юристы выписывают их заранее. После возврата проводят разбор и назначают того, кто меняет регламент. Как связать эти проверки с изменениями данных, моделей и прав, я писал в сентябре (материал на CISOCLUB).
Комитету стоит задать себе несколько вопросов до инцидента. Чья оценка последствий итоговая и за сколько часов она готова? Кто решает судьбу остальных агентов на той же модели? Кто отвечает за журнал агента и за связь с поставщиком модели? Кто подписывает возврат, и кто решает спор между владельцем процесса и ИБ? Из какого бюджета платят за восстановление, и кто решает об уведомлениях? Кто закрывает выводы после возврата и меняет регламент?
Станислав Ежов, директор по развитию ИИ ПАО «Группа Астра».
