Администрирование
Админ-роутинг
Управление L2 (direct) и L3 (own-hw) бэкендами + preferredOrder для моделей.
Кэш (exact-hash L1)
Загрузка...
Prompt-cache провайдера (sticky, 24ч)
токены промпта из тёплого кэша провайдера
Загрузка...
Контроль качества blend (shadow)
ENV BLEND_SHADOW_RATE ∈ [0..1] — доля blend-downgrade-запросов, для которых дёргаем оригинальную модель и считаем similarity. Окно — 24ч.
Загрузка...
L2 — Прямые upstream-аккаунты
Нет direct-аккаунтов.
L3 — Собственные ноды
Нет own-hw нод.
Роутинг моделей
preferredOrder — список бэкендов через запятую, проверяется сверху вниз. Допустимые: own, direct, openrouter.
Загрузка...