RAGAS (Retrieval Augmented Generation Assessment) — подход к автоматической оценке качества RAG без ручной разметки «правильных» ответов. Метрики помогают понять, насколько хорошо система подбирает контекст и насколько ответ ему соответствует.
Имена из практики: faithfulness, answer_relevancy, context_precision, context_recall — конкретные определения зависят от версии библиотеки.
Какие метрики считает RAGAS
- Faithfulness (верность) — насколько ответ опирается на переданный контекст, без выдумок. Низкая верность значит, что модель генерирует факты, которых нет в чанках.
- Answer Relevancy (релевантность ответа) — насколько ответ соответствует вопросу. Измеряется через обратные запросы к ответу: если по ответу можно восстановить исходный вопрос, релевантность выше.
- Context Precision (точность контекста) — доля релевантных фрагментов среди извлечённых. Много мусора в контексте снижает метрику.
- Context Recall (полнота контекста) — покрывает ли извлечённый контекст то, что нужно для правильного ответа (при наличии эталонного ответа).
Как это связано с настройкой пайплайна
Низкий context precision указывает на проблемы чанкинга или порога релевантности — в контекст попадает лишнее. Низкая faithfulness — на слишком вольный промпт или модель. Падение answer relevancy — на несоответствие запроса и выдачи или на размытый ответ. Замеряя метрики на тестовом наборе вопросов до и после изменений (размер чанка, top-k, промпт), вы объективно сравниваете варианты настройки.
| Метрика | О чём говорит | Что править при низком значении |
|---|---|---|
| Faithfulness | Ответ не выдумывает | Промпт, температура, модель |
| Answer Relevancy | Ответ по теме вопроса | Поиск, формулировки запросов |
| Context Precision | В контексте мало мусора | Чанкинг, top-k, порог релевантности |
| Context Recall | В контексте есть нужное | Чанкинг, объём выборки, гибридный поиск |
Итог: RAGAS даёт метрики верности, релевантности ответа и качества контекста без эталонов. Используйте их для сравнения настроек пайплайна и поиска узких мест.