Качество ответов RAG и режима генерации кода в проде нужно не только «чувствовать по жалобам», но и измерять. Сводный HTTP-эндпоинт отчёта даёт снимок за окно времени: сколько запросов, сколько замечаний по качеству, отдельные счётчики по генерации кода — удобно для дашбордов и алертов.
Пример эндпоинта в Adminica (после авторизации админа): GET /api/v1/quality/report?hours=24; параметры hours и include_examples задают окно и детализацию.
Зачем API отчёта качества
Ручная выборка логов не масштабируется. Единый JSON-ответ с агрегатами позволяет подключить мониторинг (Prometheus/Grafana), CI-проверки после релиза и периодический просмотр в админских runbook. Показатели привязаны к реальному трафику, а не только к офлайн-метрикам вроде RAGAS на тестовом наборе.
Что обычно входит в отчёт
В типичной схеме (имена полей могут развиваться между версиями):
- summary: количество запросов за период, число ответов с отмеченными проблемами качества.
- Разрезы по фичам: например, счётчики запросов к режиму генерации кода, ошибки валидации синтаксиса в сгенерированных блоках.
- Связь с /health: флаги включённости опциональных подсистем помогают понять, отражаются ли метрики в отчёте при отключённой фиче.
Как использовать в операциях
| Сценарий | Действие |
|---|---|
| Регрессия после деплоя | Сравнить summary до/после релиза за одинаковое окно по времени. |
| Нагрузочный день | Проверить рост issues при росте трафика — не сигнал сам по себе, но триггер для выборки логов. |
| Генерация кода | Смотреть долю запросов и метрики валидации; при всплеске — проверить промпт и версии моделей. |
Связь с offline-оценкой (RAGAS и др.)
API отчёт — про продакшн. Офлайн-метрики (faithfulness, context precision) остаются в пайплайне разработки и при переиндексации. Вместе они закрывают цикл: датасеты и скрипты — до релиза; отчёт API — после.
Практики применения
- Зафиксировать в runbook пороги «смотреть логи», если доля issues превышает базовую линию недели.
- Не смешивать в одном графике сырые счётчики без нормализации на число запросов.
- Для code generation отдельно отслеживать метрики синтаксиса и принудительного выбора режима в UI.
Итог: HTTP-отчёт качества — мост между RAG в проде и вашим мониторингом; используйте его вместе с health-check и офлайн-метриками, а не вместо них.