RAG выдаёт ответ не поисковая выдача, а сгенерированный текст. Поиск подбирает фрагменты архива; LLM формулирует ответ на их основе. От настройки API и параметров модели зависят связность, точность и стоимость.
На границе провайдера чаще всего крутят temperature, max_tokens и лимиты RPM/TPM — слишком высокая температура размывает ответы по регламентам.
Роль LLM в RAG
На вход модели подаётся системный промпт, контекст (найденные фрагменты) и вопрос пользователя. Модель должна отвечать по контексту, не выдумывать факты вне архива, цитировать источники.
Выбор провайдера и модели
Облачные API (OpenAI, Anthropic, Yandex GPT): быстрый старт, оплата за токены. Локальные (Ollama, vLLM): данные не покидают периметр. Критерии: лимит контекста, поддержка русского, цена за 1M токенов.
Параметры генерации
| Параметр | Рекомендация для RAG |
|---|---|
| Temperature | 0.1–0.3 — стабильные ответы по контексту; выше — риск отклонений и галлюцинаций |
| Max tokens | Ограничение длины ответа под ваш формат (краткий ответ + детали с цитатами) |
| Системный промпт | «Отвечай только по контексту», «указывай источники», «если нет в контексте — скажи» |
- Temperature: низкая (0.1–0.3) — стабильные ответы; высокая — риск отклонений.
- Max tokens: ограничение длины ответа.
- В промпте: «отвечай только по контексту», «указывай источники».
Проверка: задайте вопросы по архиву, убедитесь, что ответы опираются на документы. При смене модели — повторная верификация.
Практики применения
- Низкая temperature (0.1–0.3) для стабильности; в промпте — «только по контексту», «указывай источники».
- При смене модели — повторная верификация на типичных запросах.
Итого: низкая temperature (0.1–0.3) для стабильности; в промпте — «только по контексту», «указывай источники». Облачный API — быстрый старт; on-prem — данные в периметре.