Стенд для проверки ИИ-агентов на устойчивость
Собрали лабораторию, где прогоняем собственные и клиентские агенты через каталог атак и держим набор регрессионных тестов.
- Клиент
- Внутренний проект IT&SOFT
- Отрасль
- Исследование
- Год
- 2026
- Срок
- постоянно
Проверять агентов вручную дорого и невоспроизводимо. Нужен был стенд, который прогоняет один и тот же набор атак после каждой смены промпта или модели.
Что мы сделали
и почему именно так.
Каталог атак
Прямые и косвенные инъекции, извлечение системной инструкции, обход ограничений, злоупотребление инструментами.
Косвенные инъекции через документы
Отдельный набор документов с инструкциями внутри — самый результативный класс в наших проверках.
Регрессия в CI
Набор тестов отдаётся клиенту, чтобы прогонять его при каждом обновлении модели.
Открытая методика
Разбираем находки в блоге без привязки к клиентам. Найденное должно чиниться по всей отрасли, держать это при себе смысла нет.
Что изменилось
и чем мы это померили.
Как это шло
по дням и неделям.
- Этап 1
Каталог
Собрали известные классы атак и разметили по MITRE ATLAS.
- Этап 2
Автоматизация
Прогон, сбор реакций, отбор зацепок для ручной работы.
- Этап 3
Регрессия
Экспорт набора тестов в формат, который встаёт в чужой CI.
Как это выглядит
в схемах.
Это схемы экранов. Интерфейсы клиентов мы не публикуем без разрешения
Похожая задача
у вас?
Опишите её в брифе. В рабочее время вернёмся с оценкой срока и стоимости в течение двух часов.