RAG живёт качеством ответов: релевантность выдачи, опора на документы, отсутствие галлюцинаций. Без системной оценки нельзя понять, деградировала ли система после обновления.
Что оценивать
Поиск: находит ли система нужные фрагменты (recall, точность топа). Генерация: отвечает ли модель по контексту, цитирует ли источники. Пользовательский опыт: связность, полезность, скорость.
Метрики поиска
На размеченной выборке: Recall@k, точность топа, MRR. Без разметки — экспертная оценка выдачи по типичным запросам, A/B сравнение конфигураций.
Метрики генерации
Faithfulness: ответ основан на контексте. Citation: наличие ссылок на источники. Relevance: ответ по существу. Комбинация автоматических и ручных проверок даёт устойчивую картину.
| Тип | Метрика | Что измеряет |
|---|---|---|
| Поиск | Recall@k | Попадание релевантных документов в топ-k |
| Поиск | MRR | Позиция первого релевантного результата |
| Генерация | Faithfulness | Ответ основан на контексте, без выдумок |
| Генерация | Citation | Наличие ссылок на источники в ответе |
| Генерация | Relevance | Ответ по существу запроса |
Чек-лист для приёмочного теста
- Набор из 20–50 типичных запросов команды.
- Для каждого: ожидаемый тип ответа и ключевые документы.
- Проверка: релевантность, источники, отсутствие галлюцинаций.
- Регрессия: фиксированный набор перед и после изменений.
Регулярная оценка и чек-лист при изменениях снижают риск деградации.
A/B тесты промптов и использование feedback
Промпты сильно влияют на faithfulness и тон ответа. Имеет смысл сравнивать две версии промпта на одном наборе запросов: какая даёт больше релевантных ответов и меньше дизлайков. Лайки и дизлайки пользователей — готовый сигнал для выбора варианта: версия с более высокой долей лайков при сопоставимом объёме запросов предпочтительна. Анализ негативного feedback (какие запросы и контексты приводят к дизлайкам) позволяет точечно править промпты и правила поиска. Подробнее — в статье Как RAG улучшается по отзывам пользователей.
Практики применения
- Заведите 20–50 типичных запросов с ожидаемым ответом и источниками; проверяйте faithfulness, citation, relevance.
- Фиксированный набор для регрессии при любых изменениях RAG или документов.
Чек-лист: 20–50 типичных запросов, для каждого — ожидаемый ответ и источники. Проверяйте faithfulness, citation, relevance. Фиксированный набор для регрессии при любых изменениях.