Гибридный поиск быстро находит десятки «похожих» фрагментов. Но похожесть вектора или совпадение ключевых слов ещё не значит: этот абзац лучше отвечает на этот вопрос. Neural rerank (часто через cross-encoder) смотрит на пару «вопрос + документ» целиком и ставит релевантные куски выше до того, как модель начнёт отвечать.
Чем rerank отличается от первого поиска
| Этап | Что делает | Скорость |
|---|---|---|
| Retrieval (векторы + BM25) | Широкий пул кандидатов | Быстро на тысячах чанков |
| Neural rerank | Точная оценка top-k пар query–doc | Дороже: считают десятки, не всю базу |
| Keyword fallback | Эвристики по словам/тегам, если модель недоступна | Почти бесплатно |
Практика такая: сначала достать 15–30 кандидатов, потом прогнать их через reranker и оставить лучшие для промпта. Так сохраняют и охват, и точность без полного скана корпуса нейросетью.
Почему это заметно на русском корпусе
Мультиязычные модели вроде bge-reranker-v2-m3 хорошо держат технические формулировки на русском: «как поднять PVC», «ошибка CrashLoopBackOff», «настройка nginx upstream». Первый поиск мог вытащить соседнюю главу про «похожее» слово; rerank поднимает фрагмент, где вопрос и ответ реально стыкуются по смыслу.
Где место в цепочке «умного поиска»
- После гибридного поиска и до (или рядом с) проверкой достаточности / CRAG.
- До сжатия контекста: в must-keep попадают уже переранжированные куски.
- Рядом с тематическим бустом разделов — lexical/metadata сигналы и neural score можно комбинировать.
Снаружи вы не включаете «кнопку rerank»: меняется качество опоры — меньше чужих глав, меньше воды из дублирующих сниппетов. Подробная карта слоёв — в обзоре серии.
Практики применения
- Формулируйте вопрос так, как искали бы в книге: сущность + действие («как ограничить память контейнера Docker»), а не одно слово.
- Если ответ «почти то» — уточните раздел или имя документа: rerank лучше отличает близкие главы.
- Для длинного разбора по многим источникам по-прежнему удобен сценарий «Исследование»; rerank улучшает обычный чат, а не заменяет оркестрацию.
Итог: neural rerank — второй проход по короткому списку кандидатов: дороже первого поиска, но заметно точнее для ответа «по делу» из вашей библиотеки.