Router моделей: как балансировать качество, стоимость и задержку

Router моделей нужен, когда один провайдер не закрывает все требования по качеству, цене и времени ответа. Вместо ручного переключения мы описываем правила, по которым система сама выбирает нужную модель под конкретный запрос.

Из чего состоит router

• Классификатор запроса: определяет тип задачи.
• Таблица правил: какая модель основная и какая резервная.
• Валидатор результата: проверяет структуру, полноту и корректность.
• Fallback-контур: переключает модель при ошибке или низкой уверенности.

Базовые правила маршрутизации

1. Дешевый массовый поток: отправляем в экономичную модель.
2. Критичные ответы клиенту: отправляем в модель с более высоким качеством.
3. Длинный контекст: сразу направляем в модель с большим окном.
4. Ошибка формата: авто-повтор через резервную модель.

Метрики для управления router

• Success rate по типам задач.
• Cost per successful session.
• P95 latency по каждому маршруту.
• Доля fallback и причины переключения.

Router превращает работу с LLM в инженерный процесс, а не в случайный выбор модели в интерфейсе.