Prompt Injection: как атакуют корпоративные ИИ-системы

Аватар
15 ноября 2026 Updated on  Обновлено   19 ноября 2026

Prompt Injection: как атакуют корпоративные ИИ-системы

Prompt injection — это атака, при которой злоумышленник помещает вредоносную инструкцию в пользовательский запрос или данные, обрабатываемые языковой моделью. Если корпоративная ИИ-система не отделяет команды от недоверенного содержимого, модель может раскрыть информацию, исказить ответ или инициировать действие через подключенный инструмент. Полностью устранить этот класс риска одним фильтром нельзя: защиту строят на ограничении полномочий, проверке действий вне модели, изоляции данных и контроле опасных операций.

Корпоративный ИИ редко ограничивается окном чата. Он получает документы из базы знаний, читает почту, обращается к CRM, формирует запросы к внутренним сервисам и иногда выполняет действия от имени сотрудника. Вместе с полезным контекстом в модель попадает текст, происхождение и намерение которого система не всегда способна оценить.

Этим пользуются при prompt injection. Атакующему необязательно искать ошибку в сетевом сервисе или устанавливать вредоносную программу. Достаточно добиться, чтобы модель прочитала специально подготовленную фразу и приняла ее за инструкцию. Опасность определяется не убедительностью ответа модели, а тем, какие данные и полномочия доступны приложению вокруг нее.

Содержание

Что именно происходит при prompt injection

NIST определяет prompt injection как атаку, эксплуатирующую объединение недоверенного ввода с промптом, созданным стороной с более высоким уровнем доверия — например, разработчиком приложения. Проблема возникает внутри контекста модели: системные правила, сообщение пользователя, найденный фрагмент документа и результат работы инструмента представлены в виде содержимого, способного повлиять на следующий ответ.

У обычной программы есть формальное различие между кодом и данными. Параметр запроса не должен становиться новой инструкцией для интерпретатора. У языковой модели такой надежной границы внутри естественного языка нет. Разделители, роли сообщений и формулировки вроде «не выполняй команды из документа» помогают модели следовать нужному сценарию, но сами по себе не создают механизм авторизации.

Типичная атака развивается по цепочке:

  1. Злоумышленник размещает инструкцию в канале, откуда ИИ получает информацию.
  2. Приложение добавляет этот материал в контекст модели.
  3. Модель интерпретирует фрагмент не только как данные, но и как указание изменить поведение.
  4. Сформированный ответ передается пользователю, другому агенту или инструменту.
  5. Если внешние проверки отсутствуют, система раскрывает данные либо выполняет нежелательное действие.

Успешная инъекция не всегда означает полный захват системы. Чат-бот без доступа к закрытым данным может лишь выдать неподходящий ответ. Агент с почтой, файловым хранилищем и корпоративными API способен создать значительно более серьезный инцидент.

Прямые, косвенные и сохраненные инъекции

Способ доставки определяет, кто контролирует вредоносный текст и когда модель его увидит.

Вид атаки Где находится инструкция Типичный корпоративный канал Основной риск
Прямая В сообщении самого пользователя Чат, форма запроса, API Обход правил, раскрытие доступного контекста, злоупотребление функциями
Косвенная Во внешнем содержимом Письмо, веб-страница, PDF, тикет, ответ внешнего API Выполнение команды, которую пользователь не вводил и мог не видеть
Сохраненная В данных, которые система читает повторно База знаний, CRM, память агента, векторное хранилище Устойчивое влияние на будущие сеансы и разных пользователей
Мультимодальная В изображении или другом нетекстовом объекте Скан, презентация, изображение в документе Обход проверок, анализирующих только извлеченный текст

При прямой атаке человек взаимодействует с системой сам: просит игнорировать прежние правила, раскрыть скрытую инструкцию или выполнить действие за пределами своей роли. Такой ввод проще связать с конкретной учетной записью, ограничить по частоте и проверить на тестовом стенде.

При косвенной инъекции пользователь может действовать добросовестно. Например, он просит агента подготовить сводку входящих писем. В одном письме находится инструкция, адресованная не человеку, а модели. Система самостоятельно загружает текст, и атакующий получает канал влияния без прямого доступа к интерфейсу агента.

Сохраненная инъекция остается в источнике, к которому обращаются последующие запросы. Ею может стать текст в карточке клиента, комментарии к задаче или документ, проиндексированный RAG-системой. Если один пользователь имеет право добавить материал, а другой запускает агента с более широкими полномочиями, возникает возможность пересечь границу доверия.

Почему RAG и ИИ-агенты расширяют поверхность атаки

RAG дополняет запрос модели фрагментами, найденными в корпоративном или внешнем хранилище. Это повышает предметность ответов, но найденный текст нельзя считать безопасным только потому, что он прошел индексацию.

В корпус могут попасть:

  • загруженные пользователями файлы;
  • содержимое внутренних порталов и wiki;
  • письма и обращения клиентов;
  • данные поставщиков;
  • страницы из интернета;
  • автоматически созданные заметки и история работы агента.

Угроза появляется, когда происхождение документа теряется после преобразования в текстовые фрагменты. Модель видит релевантный отрывок, но не знает, кто его добавил, проходил ли он проверку и разрешено ли ему влиять на действия. Манипуляция поисковой выдачей также помогает атакующему добиться, чтобы подготовленный фрагмент чаще попадал в контекст по нужному запросу.

Сам RAG обычно не меняет параметры обученной модели. Поэтому внедрение инструкции в базу знаний точнее называть косвенной инъекцией или отравлением RAG-корпуса, а не отравлением обучения. Data poisoning относится к вмешательству в обучающие или дообучающие данные и представляет другой этап жизненного цикла.

У агента к риску неправильного ответа добавляется риск неправильного действия. Модель может выбирать инструменты, заполнять их параметры, анализировать результат и продолжать цепочку. В качестве инструментов выступают поиск по файлам, отправка писем, изменение CRM, выполнение запросов к базе или создание задач.

Особенно опасны сочетания трех условий:

  • агент читает данные, которые способен контролировать внешний участник;
  • в том же процессе ему доступны чувствительные данные или привилегированные функции;
  • результат модели принимается как достаточное основание для выполнения операции.

В такой архитектуре модель фактически становится «смешавшимся посредником»: она действует с полномочиями компании, но может руководствоваться вводом стороны, которой эти полномочия не предоставлялись.

Какие цели преследует атакующий

Prompt injection — это способ повлиять на модель, а не единственная цель атаки. Последствия зависят от приложения и доступных ему ресурсов.

Раскрытие информации

Атакующий может попытаться получить системный промпт, фрагменты документов, историю диалога или данные из подключенных источников. Системная инструкция не должна содержать пароли и ключи API: запрет модели на их вывод нельзя считать защитой секрета.

Утечка может происходить не только через видимый ответ. Если агент умеет открывать ссылки, отправлять сообщения или формировать контент с внешними ресурсами, данные могут покинуть контур через вызов инструмента или автоматически загружаемый адрес.

Подмена ответа

Инъекция способна заставить модель скрыть часть документа, изменить оценку, добавить ложное утверждение или отдавать предпочтение определенному варианту. Для системы поддержки это означает некорректную консультацию, для аналитического помощника — искаженное резюме, для обработки заявок — ошибочную классификацию.

Здесь не всегда происходит техническая утечка или несанкционированная операция. Тем не менее нарушается целостность процесса: сотрудник получает убедительно оформленный результат, на который нельзя полагаться.

Злоупотребление инструментами

Если модель формирует вызовы API, атакующий будет стремиться изменить получателя, параметры или последовательность операций. Потенциальный ущерб ограничен не возможностями LLM как таковой, а правами сервисной учетной записи, набором доступных функций и наличием независимой проверки.

Закрепление в памяти

Некоторые агенты сохраняют предпочтения, итоги сеанса или рабочие заметки. Вредоносный фрагмент может попасть в эту память и влиять на последующие задачи. Поэтому записывать в долговременную память весь ответ модели без проверки опасно: система превращает одноразовый ввод в устойчивое правило поведения.

Prompt injection, jailbreak и классические инъекции — не одно и то же

Jailbreak направлен прежде всего на обход ограничений самой модели: например, на получение ответа, который она обычно отказывается генерировать. Prompt injection шире относится к конфликту между доверенной инструкцией приложения и недоверенным содержимым. В конкретной атаке оба подхода могут сочетаться, но для бизнеса различие важно: безопасная модерация контента еще не означает безопасное выполнение корпоративных операций.

С SQL-инъекцией сходство есть только на общем уровне: непроверенный ввод меняет предусмотренное поведение системы. Механизмы различаются принципиально.

Свойство SQL-инъекция Prompt injection
Что интерпретирует ввод Формальный язык запросов Вероятностная языковая модель
Надежное разделение команд и данных Достижимо параметризованными запросами Не обеспечивается одной формулировкой промпта
Повторяемость результата Обычно детерминированная Может зависеть от модели, контекста и настроек
Основная граница защиты Интерфейс к базе данных Весь поток контекста, вывода и вызовов инструментов
Роль фильтра ключевых слов Ограниченная, но известны строгие методы предотвращения Обходится перефразированием, кодировками и сменой языка

Британский NCSC отдельно предупреждает, что prompt injection нельзя считать новой разновидностью SQL-инъекции. По его оценке, текущие LLM не поддерживают надежную границу между инструкциями и данными внутри промпта, поэтому организация должна управлять остаточным риском, а не ожидать универсального исправления.

Почему фильтра и «усиленного промпта» недостаточно

Запреты в системном промпте полезны как один из уровней защиты. Они задают ожидаемое поведение и сокращают число простых сбоев. Но модель, которая должна понимать разнообразный естественный язык, одновременно способна понять перефразированную вредоносную команду.

Черный список фраз пропустит инструкции на другом языке, разделенные на несколько фрагментов, скрытые символами или выраженные без характерных слов. Слишком строгий фильтр, напротив, станет блокировать нормальные документы: слова «удалить», «система» или «инструкция» встречаются в обычных рабочих задачах.

Отдельная guard-модель также не образует абсолютную границу. Она может улучшить обнаружение подозрительного ввода или вывода, но остается моделью со своими ошибками и поверхностью атаки. Ее решение разумно использовать как сигнал для блокировки или проверки, не передавая ей единоличное право авторизовать критическую операцию.

Согласно рекомендациям OWASP по предотвращению prompt injection, фильтрация входа не является границей безопасности. OWASP советует отдельно контролировать права инструментов, проверять их параметры и считать вывод модели недоверенным при передаче в другие компоненты.

Архитектура защиты: ограничивать не текст, а последствия

Практическая защита исходит из предположения, что часть инъекций пройдет через модель. Задача архитектуры — не дать такому сбою автоматически превратиться в утечку или опасное действие.

Размечать происхождение и уровень доверия

Приложение должно сохранять сведения об источнике каждого блока: это системное правило, сообщение авторизованного пользователя, внутренний документ, внешняя страница или ответ инструмента. Метки нужны не только модели. Оркестратор и слой выполнения используют их при принятии решений.

Если агент обрабатывает письмо от внешнего отправителя, содержащиеся в нем данные не должны приобретать полномочия сотрудника, который открыл сводку. Получение информации из менее доверенного источника должно ограничивать доступные дальнейшие действия.

Текстовые разделители и структурированные сообщения полезны, но не заменяют программную политику. Надпись UNTRUSTED_CONTENT может подсказать модели правильный режим обработки; запрет на вызов платежного API должен обеспечиваться кодом вне модели.

Давать инструментам минимальные полномочия

Агенту для чтения статуса заказа не нужны универсальный SQL-интерфейс и право изменять таблицы. Вместо инструмента «выполнить произвольный запрос» безопаснее предоставить узкую функцию с проверяемыми параметрами: получить заказ по идентификатору, разрешенному текущему пользователю.

Ограничения должны охватывать:

  • операции чтения и записи;
  • доступные объекты и поля;
  • сетевые адреса и домены;
  • директории и типы файлов;
  • получателей сообщений;
  • объем одной операции;
  • полномочия конкретного пользователя и сеанса.

Сервисная учетная запись агента не должна превращаться в общий привилегированный аккаунт. Авторизация проверяется при каждом вызове инструмента, даже если модель ранее решила, что действие допустимо.

Проверять действия детерминированным кодом

Модель может предложить операцию, но решение о выполнении принимает отдельный компонент. Он валидирует схему, типы, допустимые значения, принадлежность объекта пользователю и соответствие корпоративной политике.

Свободно сгенерированная строка не должна напрямую становиться SQL-запросом, shell-командой, HTML-разметкой или адресом для сетевого обращения. Для каждого назначения применяются обычные защитные меры: параметризованные запросы, экранирование, allowlist, безопасный рендеринг и проверка URL.

Этот слой защищает не только от prompt injection. Он также ограничивает последствия галлюцинаций, ошибок интеграции и некорректных параметров, полученных без участия атакующего.

Отделять чтение недоверенных данных от привилегированных действий

Сильнее всего риск снижается, когда компонент, читающий потенциально вредоносный документ, вообще не имеет инструментов для чувствительных операций. Он может извлечь факты в заданную структуру, а другой компонент — работать с проверенным результатом в более узком контексте.

Такое разделение требует контроля потоков данных. Если второй агент получает вместе с результатом исходный документ или свободный пересказ, вредоносная инструкция может перейти через границу. Формальная схема, ограниченный набор полей и проверка значений уменьшают этот канал, хотя не гарантируют достоверность извлеченного смысла.

Подтверждать значимые операции человеком

Человек нужен там, где ошибка приводит к существенным или трудно обратимым последствиям: отправке сообщения внешнему адресату, изменению прав, публикации, удалению данных или финансовой операции.

Подтверждение должно показывать конкретное действие, получателя и параметры. Кнопка «продолжить» после длинной цепочки рассуждений мало помогает: сотрудник не понимает, что именно разрешает. Исполнительный компонент обязан убедиться, что одобрена та же операция, которая фактически отправляется на выполнение.

Постоянные запросы подтверждения вызывают усталость и формальное согласие. Поэтому операции следует классифицировать по риску: безопасное чтение может выполняться автоматически, а критические изменения — останавливаться на обязательном шлюзе.

Контролировать RAG и загрузку документов

Для каждого документа полезно хранить автора или источник, время добавления, версию, хеш и правила доступа. Публикация в рабочий индекс должна быть отдельной операцией, а не автоматическим следствием любой загрузки файла.

Конвейер обработки проверяет скрытые слои, невидимый текст, метаданные и расхождение между отображаемым документом и извлеченным содержимым. Нельзя ограничиваться поиском фразы «игнорируй предыдущие инструкции»: вредоносное влияние может быть замаскировано под деловой текст или разделено между фрагментами.

Результаты поиска передаются модели как недоверенные данные. Доступ к документу проверяется до включения фрагмента в контекст, а не после генерации ответа.

Логировать решения, не создавая новую утечку

Для расследования нужны сведения о пользователе, источниках контекста, версии модели и промпта, вызовах инструментов, решениях политик и подтверждениях. Полезны сигналы о повторных отказах, необычных адресатах, попытках обратиться к запрещенным ресурсам и резкой смене поведения агента.

Полное сохранение запросов и ответов может само стать хранилищем персональных данных, коммерческой тайны и вредоносного содержимого. Срок хранения, доступ к журналам и маскирование чувствительных полей должны быть определены заранее. Секреты и учетные данные в логи не записывают.

Как проверить корпоративную систему до запуска

Тестирование prompt injection не сводится к нескольким командам в чате. Необходимо воспроизвести реальные каналы поступления данных и наблюдать не только финальный ответ, но и все побочные действия.

Для начала составляют карту:

  • какие модели, RAG-хранилища и агенты используются;
  • откуда поступает недоверенный контент;
  • какие данные доступны каждому компоненту;
  • какие инструменты и учетные записи подключены;
  • какие операции обратимы и требуют подтверждения;
  • куда могут уйти ответы и результаты вызовов.

Затем для каждого сценария формулируют конкретное нарушение. Например: прочитать тестовый маркер из закрытого документа, вызвать инструмент с запрещенным получателем или изменить фиктивную запись без подтверждения. Проверку проводят в песочнице с искусственными данными и инструментами-заглушками.

Косвенную инъекцию помещают именно в проверяемый канал — документ, письмо, веб-страницу или ответ API. Если ту же фразу отправить через чат, получится тест прямой атаки, который ничего не доказывает о защите конвейера загрузки документов.

Фиксировать следует четыре вида результата: нарушение обнаружено, нарушение не обнаружено, результат неясен, сценарий неприменим. Ошибку телеметрии нельзя засчитывать как успешно заблокированную атаку. Наряду с вредоносными примерами нужны нормальные рабочие запросы: защита, которая останавливает полезные операции, технически блокирует атаки, но не выполняет бизнес-задачу.

После изменения модели, системного промпта, RAG-конвейера или набора инструментов существенные тесты повторяют. Поведение LLM и защитных классификаторов зависит от версии и конфигурации, поэтому единичная успешная проверка не становится постоянной гарантией.

Голосовой ИИ Polygant
Поговорите с нашим ИИ-менеджером сами
Оставьте номер телефона — ИИ сам вам позвонит.
Задавайте вопросы, перебивайте его и меняйте тему разговора,
чтобы проверить, как голосовой ИИ работает в реальном диалоге.

Что должна решить компания до подключения ИИ к системам

Вопрос о допустимости ИИ-агента нельзя отделять от худшего действия, доступного его учетной записи. Если компрометация модели дает возможность отправить письмо, прочитать общий каталог или создать черновик, ущерб можно ограничить и расследовать. Если та же модель самостоятельно распоряжается платежами, правами доступа и удалением данных, остаточный риск становится свойством всего бизнес-процесса.

OWASP LLM01:2025 указывает, что надежный универсальный способ предотвращения prompt injection пока не установлен. NIST AI 100-2 также рассматривает прямые и косвенные инъекции как отдельные виды атак на генеративные системы. Это не означает, что корпоративный ИИ нельзя безопасно применять. Но область его автономности должна определяться доказуемыми программными ограничениями, а не ожиданием, что модель всегда правильно распознает чужое намерение.

Хорошо спроектированная система может ошибиться в интерпретации документа и все же не раскрыть закрытые данные, не обратиться к постороннему адресу и не выполнить необратимую операцию. Именно это различие — между ошибкой модели и инцидентом в корпоративном контуре — показывает реальную зрелость защиты.

FAQ

Может ли prompt injection заразить саму языковую модель?

Обычная инъекция влияет на текущий контекст или сохраненную память приложения, но не обязательно меняет параметры модели. Для изменения поведения через обучающие данные используют data poisoning или компрометацию процесса дообучения.

Достаточно ли скрыть системный промпт от пользователей?

Нет. Системный промпт не должен содержать секреты, а его конфиденциальность не создает контроля доступа. Даже не зная точной инструкции, атакующий может подбирать способы изменить поведение модели.

Опасна ли инъекция для чат-бота без инструментов?

Да, но возможный ущерб обычно уже. Бот может раскрыть доступный ему контекст, нарушить правила публикации или выдать искаженный ответ. Риск несанкционированных действий резко возрастает после подключения API и корпоративных систем.

Можно ли удалить вредоносные команды из документов автоматически?

Можно выявлять характерные фразы, скрытый текст и подозрительное форматирование, но такая обработка не распознает все способы передачи смысла. Проверку документов используют как один уровень защиты, не как замену ограничениям полномочий.

Нужно ли блокировать документ, если в нем есть слово «инструкция»?

Нет. Одиночные слова дают много ложных срабатываний. Решение должно учитывать источник, структуру документа, скрытые элементы, контекст и потенциальное действие, а чувствительные операции все равно проверяются вне модели.

Кто отвечает за защиту от prompt injection?

Это совместная задача владельца продукта, архитекторов, разработчиков, специалистов по ИБ и владельцев подключенных систем. Команда продукта определяет допустимые действия, разработчики реализуют границы, ИБ проверяет сценарии атак, а бизнес-владелец принимает остаточный риск.

Содержание

map

Связаться с нами