Оценка чат-бота по базе знаний или RAG-системы — по типичным запросам команды. Ниже — десять сценариев: от команд и конфигов до регламентов и аналитики. Критерий успеха: релевантность ответа и обязательное наличие цитат из ваших документов. Используйте чек-лист при приёмочном тестировании или выборе AI-ассистента.
Фиксируйте прогон в таблице: столбцы scenario_id, question, pass — так видно регрессии между релизами.
1. Команды и синтаксис
Примеры запросов: «Основные команды kubectl», «как сделать git rebase», «команды docker для логов».
Проверка: находит ли система справочные команды и краткие пояснения. Ожидаемый выход: перечисление и примеры из архива или мануалов.
2. Конфигурация и примеры кода
Примеры: «Как создать Dockerfile для Python», «пример nginx reverse proxy», «базовый docker-compose для приложения».
Проверка: выдача фрагментов конфигов и кода с пояснениями. Обязательно: указание источника (документ, раздел).
3. Регламенты и процедуры
Примеры: «Регламент деплоя в staging», «как у нас настроен онбординг», «процедура отката релиза».
Проверка: поиск по внутренним регламентам и пошаговым инструкциям. Ответ должен опираться на ваши документы. Без цитирования — недопустимо.
4. Сравнение и выбор технологии
Примеры: «Чем отличается git merge от rebase», «Kubernetes vs Docker Swarm для малой команды», «когда использовать message queue».
Проверка: сравнение технологий и рекомендации на основе документов архива.
5. Ошибки и troubleshooting
Примеры: «Ошибка connection refused в Docker», «kubectl не видит поды», «как читать логи при падении пода».
Проверка: поиск по типичным ошибкам и шагам диагностики. Ссылки на runbook’и и статьи.
6. Безопасность и доступы
Примеры: «Как настроить RBAC в Kubernetes», «best practices для секретов в CI/CD», «проверка прав доступа к репозиторию».
Проверка: наличие рекомендаций по безопасности в архиве, корректность формулировок.
7. Мониторинг и метрики
Примеры: «Какие метрики смотреть при деплое», «как настроить алерты на падение пода», «дашборд для CI/CD».
Проверка: поиск по гайдам по мониторингу и типовым метрикам.
8. Аналитика по данным
Примеры: «Статистика по библиотеке», «покажи график по загрузкам за неделю», «сводка по использованию».
Проверка: выполнение аналитических запросов (Text2SQL или отчёты), выдача таблиц или графиков.
9. Общие вопросы по системе
Примеры: «Что ты умеешь», «какие разделы есть в базе», «как загрузить свой документ».
Проверка: ответы о возможностях системы, разделах архива, способах пополнения.
10. Свободная формулировка
Примеры: Реальные запросы из чатов и тикетов. Длинные. С жаргоном. Перефразированные.
Проверка: устойчивость к вариативности формулировок. Качество семантического поиска. Архив не знает «удобных» вопросов — только совместимые.
| № | Сценарий | Что проверяем |
|---|---|---|
| 1 | Команды и синтаксис | Справочные команды, примеры из архива |
| 2 | Конфиги и код | Фрагменты с указанием источника |
| 3 | Регламенты | Пошаговые инструкции, цитирование |
| 4 | Сравнение технологий | Рекомендации на основе документов |
| 5 | Ошибки и troubleshooting | Runbook'и, шаги диагностики |
| 6–10 | Безопасность, мониторинг, аналитика, общие вопросы, свободная формулировка | Релевантность и источники по каждому типу |
Использование: приёмочное тестирование RAG или выбор AI-ассистента для документов. Если по всем десяти сценариям система даёт релевантные ответы с источниками — решение совместимо с внедрением. Иначе — доработка или отсев.
Практики применения
- Используйте чек-лист из статьи для приёмочного тестирования RAG или выбора AI-ассистента.
- Пройдите все 10 сценариев своими формулировками; без цитат из архива ответ не засчитывается.
Чек-лист: пройдите все 10 сценариев своими формулировками. Ожидаемый результат — ответ с цитатами из архива по каждому пункту. Без источников ответ не засчитывается.