Какие метрики смотреть у RAG в production: латентность, кеш, ошибки

RAG в production — это цепочка: эмбеддинги, векторный поиск, LLM, кеш. Чтобы система оставалась быстрой и стабильной, нужно знать, где задержки и сбои. В этой статье — какие метрики мониторить и какие пороги указывают на проблемы.

В Adminica агрегаты для дашбордов можно снимать с GET /api/v1/metrics (при поддержке в вашей сборке) и сверять с логами по этапам цепочки.

Время ответа (латентность)

Главный показатель — время от запроса до ответа. Полезно разбивать на этапы: время поиска, время вызова LLM, общее время. Рост латентности может означать перегрузку БД или LLM API. Цели: общее время до 5–7 секунд для сложных запросов, до 2–3 секунд при кеше.

Кеш

RAG кеширует эмбеддинги, результаты поиска и ответы LLM. Hit rate (доля запросов из кеша) и объём кеша показывают эффективность. Падение hit rate при стабильном трафике — рост разнообразия запросов или истечение TTL.

Ошибки

Счётчики ошибок по типам: таймаут LLM, недоступность векторной БД, ошибка эмбеддингов. Доля запросов с fallback или пустым ответом — индикатор качества. Алерты на рост ошибок — базовый уровень мониторинга.

Text2SQL и аналитика

Если RAG поддерживает графики и таблицы по данным, стоит смотреть долю аналитических запросов и их успешность. Рост ошибок Text2SQL указывает на нагрузку на БД или некорректные запросы.

Где смотреть

Метрики экспортируются в Prometheus; в Grafana собирают дашборды: латентность, hit rate кеша, ошибки по сервисам. Полный перечень метрик описан в операционной документации платформы.

Практика с библиотекой Adminica

Тема «Какие метрики смотреть у RAG в production» лучше всего раскрывается на ваших материалах: кураторская библиотека плюс документы профиля и org-библиотека (если подключена). Задайте в чате конкретный вопрос, проверьте блок источников и при необходимости уточните формулировку — так RAG даёт воспроизводимый ответ, а не общий пересказ.

Короткий чек-лист

• Один главный вопрос за сообщение; контекст — во вложении или ссылке на запись архива.
• После обновления документов дождитесь индексации, прежде чем сравнивать ответы.
• Для командных регламентов храните master-копию в согласованном разделе базы знаний.

Тарифы и on-prem зависят от контура; начните с чата на своих данных и оцените качество по цитатам, а не только по гладкости текста.

Вывод: Ключевые метрики RAG — латентность, hit rate кеша, счётчики ошибок и успешность аналитических запросов. Prometheus и Grafana позволяют держать качество и скорость под контролем.