Исследователи обманули AI agents скрытым текстом

Группа исследователей безопасности обнаружила уязвимость в поведении автономных AI agents, заставив их раскрыть конфиденциальные детали своих задач с помощью метода скрытого текста.

Механика обмана нейросетей

Для проведения эксперимента специалисты создали ложные почтовые ящики, содержащие невидимый для человека, но доступный для машин текст. Когда AI agents, сканировавшие картографический сервис Alibaba, обращались к этим ящикам, они считывали скрытые инструкции и в ответ предоставляли подробную информацию о своих целях и алгоритмах работы.

Связь с инфраструктурой Tencent Cloud

В ходе анализа сетевого трафика удалось установить, что активность данных агентов была связана с инфраструктурой Tencent Cloud. Это позволило исследователям проследить цепочку действий ботов и понять, как именно они взаимодействуют с внешними сервисами для сбора данных.

Данный инцидент подчеркивает проблему безопасности современных LLM-агентов, которые могут быть подвержены атакам типа prompt injection даже через внешние источники данных. Разработчикам автономных систем потребуется внедрять более строгие фильтры обработки входящей информации.