Внедрение RAG с нуля: первый месяц по шагам

Запуск RAG в компании не обязан начинаться с «загрузим всё». Первый месяц лучше потратить на цели, минимальный набор данных и пилот — так вы быстрее получите результат и поймёте, куда двигаться дальше.

Тестовые вопросы удобно хранить в таблице: колонки question, expected_topic, pass/fail — так видно регрессии после смены промпта или модели.

Неделя 1: цели и тестовые вопросы

Сформулируйте, на какие вопросы система должна отвечать в первую очередь. Не «вся документация», а конкретные сценарии: «как настроить X», «что делать при ошибке Y», «где описан процесс Z». Составьте список из 15–20 тестовых вопросов — они понадобятся для проверки качества после загрузки данных.

Определите пилотную аудиторию: одна команда, дежурные или новички. Так проще собрать обратную связь и не размазывать фокус.

Неделя 2: минимум данных

Выберите 1–2 типа документов или один раздел базы знаний: например, только runbook'и или только регламенты по инцидентам. Не загружайте всё подряд — мусор на входе ухудшает ответы и затрудняет отладку. Проверьте, что текст извлекается корректно (не сканы, не пустые страницы), и при необходимости почистите структуру.

Загрузите данные в RAG, выполните переиндексацию и прогоните тестовые вопросы. Зафиксируйте, на каких запросах ответ неудовлетворительный — это база для доработки чанкинга, метаданных или формулировок.

Неделя 3–4: пилот и обратная связь

Дайте доступ пилотной группе. Попросите задавать реальные вопросы и отмечать, когда ответ помог, а когда нет. Соберите 1–2 коротких созвона: что искали, что нашли, чего не хватает. По результатам решите: расширять базу, добавлять источники или сначала улучшить качество текущих.

Итог: Первый месяц — цели, минимальные данные и пилот. Не грузите всё сразу; используйте тестовые вопросы и обратную связь пилота, чтобы решить, куда двигаться дальше.