RAG-сервис, который только отвечает на вопросы по базе знаний, со временем «застывает»: качество ответов зависит от промптов и данных на момент запуска. Чтобы система становилась лучше с каждым днём, нужна обратная связь от пользователей и механизм, который эту связь превращает в улучшения. В этой статье — зачем собирать отзывы (лайки и дизлайки), как они учитываются и как RAG может самообучаться на их основе.
Оценку удобно хранить как поле в событии аудита: feedback: positive | negative и идентификатор ответа — чтобы строить отчёты по «проблемным» чанкам.
Зачем собирать feedback
Пользователь лучше всего знает, помог ли ответ: был ли он релевантен, полон, без лишнего. Явная оценка (👍 или 👎) — это сигнал для системы: здесь мы попали в точку, здесь — промах. Без таких сигналов разработчики и операторы вынуждены гадать по логам и метрикам; с ними можно целенаправленно улучшать промпты, ранжирование и даже накапливать данные для дообучения.
Что видит пользователь
В типичном чате с RAG после каждого ответа ассистента доступны две кнопки: «лайк» и «дизлайк». Один клик — и оценка отправляется в систему. Никаких форм и опросов: минимум усилий, максимум охвата. Иногда дополнительно собирают неявные сигналы: сколько времени пользователь провёл с ответом на экране, переходил ли по ссылкам на источники, переформулировал ли запрос после неудачного ответа. Всё это вместе даёт картину качества.
Как считаются «награды» (reward)
Внутри RAG-платформы отзывы превращаются в числовую оценку — reward. Лайк увеличивает reward, дизлайк — уменьшает. Учитываться могут и метрики самого ответа: уверенность поиска (confidence), количество найденных фрагментов, совпадение интента запроса. В итоге один и тот же ответ получает итоговый балл: хорошо ли мы подобрали параметры поиска и контекст для этого запроса. Так система понимает, какие настройки (число источников, порог релевантности, тип поиска) лучше работают в разных ситуациях.
Самообучение на негативном feedback
Особенно ценны дизлайки: они указывают на проблемные ответы. Современные RAG-системы могут автоматически анализировать такие кейсы: какой запрос был задан, какой контекст попал в промпт, какой ответ сгенерировала модель. На основе анализа формируются улучшенные варианты промптов или дополнительные правила (например, «для запросов про автора книги всегда включать поле автора в контекст»). Часть негативных примеров сохраняется в обучающую выборку для последующей тонкой настройки модели или пересборки индекса. Таким образом, RAG не просто фиксирует отзывы, а использует их для эволюции.
Метрики в проде и дашборды
Чтобы самообучение и анализ feedback приносили пользу, нужна видимость: доля лайков и дизлайков, тренды по времени, топ проблемных запросов. Метрики в проде (время ответа, количество источников, confidence) дополняют картину: деградация качества часто видна по падению оценок или росту дизлайков до того, как пользователи начнут жаловаться. Подробнее про мониторинг и алерты — в статье Метрики RAG в проде и мониторинг.
Без углубления в код: итог
Сбор лайков и дизлайков даёт системе обратную связь; расчёт reward связывает отзывы с параметрами поиска и качеством ответа; анализ негативного feedback запускает улучшение промптов и накопление данных. Пользователь получает простой способ сказать «хорошо» или «плохо», а RAG — возможность становиться точнее и релевантнее со временем.
Вывод: Самообучение RAG по отзывам пользователей превращает разовые оценки в непрерывное улучшение качества ответов и параметров поиска. Оценивайте ответы в чате — так вы помогаете системе становиться лучше.