Чат-боты, работающие на передовых моделях искусственного интеллекта, могут стать отличными помощниками в работе или учебе, но несут определенные риски. Эти чат-боты умеют писать электронные письма, искать файлы и общаться на веб-сайтах.

Чат-боты, работающие на LLM, только недавно ставшие популярными, уже показывают пробелы в вопросах безопасности. Исследователи обнаружили, что эти модели уязвимы для атак под названием «быстрое внедрение», когда злоумышленники тайно предоставляют им команды.

Злоумышленники могут попросить чат-бот прочитать и обобщить конфиденциальные файлы, украсть данные или отправить сообщения, наносящие ущерб репутации пользователя. Вместо того, чтобы игнорировать команду, программа искусственного интеллекта отнесется к ней как к законному запросу.

Чат-боты не понимают, что команду дает хакер, и относятся к ней, как к запросу от обычного пользователя, который запрашивает свою же информацию.

Отметим, что на данный момент случаев успешного взлома чат-ботов таким образом не так много. Тем не менее, растущий интерес к чат-ботам с искусственным интеллектом увеличивает потенциал для любой атаки. Такие компании, как OpenAI и Google, работают над улучшением безопасности своих моделей, чтобы предотвратить возможные манипуляции. Несмотря на риски, чат-боты могут стать мощными инструментами, если удастся решить эти проблемы безопасности.