Загрузка...

Блог

Серия: Дежурный и база знаний · статья 3 из 3

Чек-лист качества runbook для RAG и дежурных

Чек-лист качества runbook для RAG и дежурных

Runbook, который хорошо читается человеком, не всегда хорошо находится RAG. Этот чек-лист — перед публикацией в библиотеку Adminica или после postmortem. Пройдите пункты за 15 минут — снизите риск «дежурный спросил, чат ответил не то».

Структура и заголовки

  • ☐ В title есть сервис + симптом (например «PostgreSQL: replication lag»).
  • ☐ Есть блок «Симптомы» и «Действия» — нумерованный список, не сплошной текст.
  • ☐ Команды в отдельных pre-блоках, не внутри абзаца.
  • ☐ Указано окружение (prod/staging) и ограничения (нужен доступ, maintenance window).

Поиск и чанкинг

  • ☐ Ключевые слова из алертов упомянуты явно (коды ошибок, метрики Prometheus).
  • ☐ Документ не длиннее ~15–20 страниц без разбиения на части.
  • ☐ Нет дублирующих runbook на ту же тему с разными формулировками (путает re-ranking).
  • ☐ Версия или дата обновления в начале файла.

Проверка в RAG-чате

  • ☐ 3 тестовых вопроса сформулированы как дежурный («что делать при …»).
  • ☐ Ответ цитирует нужный runbook в top-3 источников.
  • ☐ В offcanvas виден фрагмент чанка с командами, не обрезанный посередине.
  • ☐ При гибридном режиме ответ не уходит в «голый LLM» без архива.

Операционная гигиена

ПунктЗачем
Владелец записи в каталогеКому писать, если чат ошибся
Ссылка на дашборд / алертКонтекст для вопроса в чате
Дата последней проверки на стендеНе устаревшие команды
Связь с postmortemИстория изменений после инцидента

Когда чек-лист не проходит

Если ответ чата не устраивает — сначала документ и индекс, не промпт. См. чек-лист диагностики RAG и data_lint для каталога книг.

Практика с библиотекой Adminica

Тема «Чек-лист качества runbook для RAG и дежурных» лучше всего раскрывается на ваших материалах: кураторская библиотека плюс документы профиля и org-библиотека (если подключена). Задайте в чате конкретный вопрос, проверьте блок источников и при необходимости уточните формулировку — так RAG даёт воспроизводимый ответ, а не общий пересказ.

Короткий чек-лист

  • Один главный вопрос за сообщение; контекст — во вложении или ссылке на запись архива.
  • После обновления документов дождитесь индексации, прежде чем сравнивать ответы.
  • Для командных регламентов храните master-копию в согласованном разделе базы знаний.

Тарифы и on-prem зависят от контура; начните с чата на своих данных и оцените качество по цитатам, а не только по гладкости текста.

Итог: качественный runbook для RAG — это структура, ключевые слова алертов и проверка тремя вопросами в чате до того, как дежурная смена на него опрётся.