
ИИ-эксперт Владимир Нелюб рассказал, к чему могут привести ошибки ИИ-агентов
Ошибки ИИ-агентов могут иметь разную цену — от неудачной рекомендации клиенту до финансовых потерь, утечки конфиденциальных данных или нарушения работы критически важных бизнес-процессов, уверен Владимир Нелюб, управляющий партнер «Астра ИИ», директор по науке и ИИ «Группы Астра».
Особенно серьёзные последствия возможны, когда агент не просто формирует ответ, а получает возможность самостоятельно выполнять действия в корпоративных системах: изменять платёжные реквизиты и финансовые документы, корректировать сведения о клиентах и их правах доступа, проводить денежные операции, изменять настройки информационной безопасности или управлять производственной и ИТ-инфраструктурой. В таких сценариях даже единичная ошибка может привести к прямым финансовым потерям, компрометации персональных данных, остановке бизнес-процессов или нарушению работы критически важных систем.
При этом важно различать ошибку в рекомендации и ошибку в действии. Некорректный ответ ИИ может быть замечен и исправлен человеком, но если на его основе агент автоматически выполняет операцию, последствия могут наступить ещё до того, как ошибку обнаружат. Причиной может стать не только неточность самой модели, но и использование недостоверных данных, неверная постановка задачи или внешнее воздействие, например промпт-инъекция. Поэтому мы в «Группе Астра» исходим из того, что любую ИИ-модель необходимо изначально рассматривать как потенциально недоверенный компонент.
Безопасность корпоративного ИИ должна обеспечиваться на уровне всей среды его исполнения. Для этого необходим многоуровневый контроль: проверка входящих данных и результатов генерации, разграничение полномочий агентов, ограничение доступа к корпоративным системам, журналирование действий и обязательное подтверждение человеком критически важных операций. Принципиально важно, чтобы агент обладал только теми правами, которые необходимы для выполнения конкретной задачи. Например, возможность получить информацию из финансовой системы не должна автоматически означать право изменять платёжные реквизиты или проводить транзакции. Даже если модель сформирует ошибочную рекомендацию или подвергнется внешнему воздействию, правильно выстроенная система ограничений должна предотвратить выполнение потенциально опасных действий. При этом полностью исключить ошибки ИИ невозможно.
Задача бизнеса — сделать их последствия управляемыми: выявлять отклонения, блокировать опасные операции, сохранять возможность аудита и разбирать причины инцидентов. Ответственность за применение ИИ при этом должна быть закреплена за владельцами соответствующих бизнес-процессов, а обеспечение безопасности — стать совместной задачей бизнеса, ИТ и специалистов по информационной безопасности.


