Качество RAG начинается до чата: как текст попадает в библиотеку и в поисковый индекс. Если при каждой правке пересчитывать эмбеддинги для всех книг, обновления тянутся часами. Современный конвейер делает иначе: загружает материалы, проверяет качество и переиндексирует только то, что изменилось.
Три идеи, которые экономят время
- Надёжный текст — рядом с PDF можно держать подготовленный текстовый слой (например
.search.txt), чтобы не полагаться только на слабое извлечение из скана. - Отпечаток содержимого — система запоминает «хеш» текста записи и не гоняет эмбеддинги заново, если документ не менялся.
- Ворота качества — перед индексом отсекают пустые и битые записи, чтобы мусор не попал в поиск.
Логичный порядок шагов
| Шаг | Зачем |
|---|---|
| Загрузка | PDF/TXT попадают в библиотеку знаний |
| Проверка | Обязательные поля, пустые тексты, явные дубликаты |
| Индексация | Чанки и эмбеддинги только для изменившихся записей |
| Связи (по желанию) | Обновление графа знаний между материалами |
Если проверка не прошла — индекс не обновляют: лучше остановиться, чем засорить поиск.
Когда нужен полный пересчёт
- Сменили модель эмбеддингов — все векторы надо пересчитать.
- Сильно изменили правила нарезки на чанки.
- Сомневаетесь после массовой правки метаданных — проверьте, попали ли изменения в поиск, и при необходимости сделайте полный прогон.
Практики применения
- Для важных PDF готовьте читаемый текст заранее — поиск любит чистый слой, а не «шум OCR».
- Не смешивайте «залил всё подряд» и «сразу в прод»: сначала проверка, потом индекс.
- После смены модели эмбеддингов планируйте окно на полный reindex — умный пропуск тут не поможет.
Практика с библиотекой Adminica
Тема «Как обновлять библиотеку знаний без лишней переиндексации» лучше всего раскрывается на ваших материалах: кураторская библиотека плюс документы профиля и org-библиотека (если подключена). Задайте в чате конкретный вопрос, проверьте блок источников и при необходимости уточните формулировку — так RAG даёт воспроизводимый ответ, а не общий пересказ.
Короткий чек-лист
- Один главный вопрос за сообщение; контекст — во вложении или ссылке на запись архива.
- После обновления документов дождитесь индексации, прежде чем сравнивать ответы.
- Для командных регламентов храните master-копию в согласованном разделе базы знаний.
Тарифы и on-prem зависят от контура; начните с чата на своих данных и оцените качество по цитатам, а не только по гладкости текста.
Итог: свежая библиотека = загрузка → проверка → индексация только изменений. Полный пересчёт — при смене модели или правил чанкинга, а не при каждой мелкой правке.