Nvidia представила NeMo Switchyard — программный роутер для выбора оптимальной ИИ-модели в зависимости от задачи. Решение призвано снизить затраты предприятий на инференс, маршрутизируя запросы между моделями разного уровня.
Мнение эксперта
- В России использование Nvidia ограничено санкциями, что снижает прямую применимость, но стимулирует спрос на отечественные аналоги роутеров ИИ-моделей.
- Интеграторам стоит следить за появлением подобных решений в стеке российских вендоров и закладывать оптимизацию инференса в архитектуру.
- Роутинг моделей — тренд, который позволит клиентам экономить, поэтому экспертиза в этой области станет конкурентным преимуществом.