Runbook, который хорошо читается человеком, не всегда хорошо находится RAG. Этот чек-лист — перед публикацией в библиотеку Adminica или после postmortem. Пройдите пункты за 15 минут — снизите риск «дежурный спросил, чат ответил не то».
Структура и заголовки
- ☐ В title есть сервис + симптом (например «PostgreSQL: replication lag»).
- ☐ Есть блок «Симптомы» и «Действия» — нумерованный список, не сплошной текст.
- ☐ Команды в отдельных
pre-блоках, не внутри абзаца. - ☐ Указано окружение (prod/staging) и ограничения (нужен доступ, maintenance window).
Поиск и чанкинг
- ☐ Ключевые слова из алертов упомянуты явно (коды ошибок, метрики Prometheus).
- ☐ Документ не длиннее ~15–20 страниц без разбиения на части.
- ☐ Нет дублирующих runbook на ту же тему с разными формулировками (путает re-ranking).
- ☐ Версия или дата обновления в начале файла.
Проверка в RAG-чате
- ☐ 3 тестовых вопроса сформулированы как дежурный («что делать при …»).
- ☐ Ответ цитирует нужный runbook в top-3 источников.
- ☐ В offcanvas виден фрагмент чанка с командами, не обрезанный посередине.
- ☐ При гибридном режиме ответ не уходит в «голый LLM» без архива.
Операционная гигиена
| Пункт | Зачем |
|---|---|
| Владелец записи в каталоге | Кому писать, если чат ошибся |
| Ссылка на дашборд / алерт | Контекст для вопроса в чате |
| Дата последней проверки на стенде | Не устаревшие команды |
| Связь с postmortem | История изменений после инцидента |
Когда чек-лист не проходит
Если ответ чата не устраивает — сначала документ и индекс, не промпт. См. чек-лист диагностики RAG и data_lint для каталога книг.
Практика с библиотекой Adminica
Тема «Чек-лист качества runbook для RAG и дежурных» лучше всего раскрывается на ваших материалах: кураторская библиотека плюс документы профиля и org-библиотека (если подключена). Задайте в чате конкретный вопрос, проверьте блок источников и при необходимости уточните формулировку — так RAG даёт воспроизводимый ответ, а не общий пересказ.
Короткий чек-лист
- Один главный вопрос за сообщение; контекст — во вложении или ссылке на запись архива.
- После обновления документов дождитесь индексации, прежде чем сравнивать ответы.
- Для командных регламентов храните master-копию в согласованном разделе базы знаний.
Тарифы и on-prem зависят от контура; начните с чата на своих данных и оцените качество по цитатам, а не только по гладкости текста.
Итог: качественный runbook для RAG — это структура, ключевые слова алертов и проверка тремя вопросами в чате до того, как дежурная смена на него опрётся.