Исследователи показали, что обход защитных ограничений ИИ-моделей часто тривиален: достаточно заявить, что это 'мой сервер', и модель соглашается помочь. Уязвимость указывает на фундаментальные проблемы безопасности генеративных систем.
Мнение эксперта
- На российском рынке, где растет спрос на ИИ-решения, отсутствие надёжных guardrails усиливает риски утечек данных при использовании локальных моделей.
- Системному интегратору важно предусматривать в проектах не только функциональность, но и защиту от подобных атак, включая фильтрацию входных запросов.
- Поставщики ИИ-платформ должны оперативно выпускать обновления безопасности, иначе доверие к технологии упадёт, что замедлит импортозамещение.
