Cloud․ru представил Neocloud.
И.о. гендиректора Cloud․ru Михаил Лобоцкий рассказал нам про Neoсloud – продукт, который решает две ключевые проблемы промышленного использования ИИ-инфраструктуры. Рынок прошел стадию экспериментов, и реальные заказчики столкнулись с жесткой экономикой GPU-кластеров.
Первая проблема – суточная сезонность инференса. Все работают днем, ночью дорогие кластеры простаивают. Neoсloud управляет расписанием нагрузки: ночью та же инфраструктура обучает модели, расширяет контекст, обогащает данные – днем исполняет запросы пользователей. По словам Лобоцкого, такой запрос уже пришел не из «мира пилотов», а из реального промышленного использования.
Вторая проблема – масштабируемая гибкость. Заказчику нужен распределенный HGX-кластер на месяц эксперимента, а потом ресурсы не нужны вовсе. Выйти на рынок и получить 100–300 объединенных кластеров с нужной конфигурацией сегодня невозможно: ни один провайдер не предлагает такого. Cloud․ru построил тысячи таких узлов для себя и теперь открывает этот инструмент рынку.
HGX-кластеры с InfiniBand – это фиксированные капзатраты. Чем выше утилизация по типам задач, времени суток и географии присутствия, тем дешевле каждый токен инференса. Дешевле инференс – больше компаний масштабируют пилоты в работе.
Подписывайтесь на Телекоммуналка