От теста с GigaChat к промышленному ИИ-ПАК.

От теста с GigaChat к промышленному ИИ-ПАК.

Помните мы в феврале рассказывали, что «Сбер» запустил GigaChat на ИИ-серверах Yadro. Теперь Rubytech валидировала серверную платформу Yadro как вычислительную основу для собственного промышленного продукта, машины искусственного интеллекта «Скала^р МИИ».

Rubytech строит на инфраструктуре Yadro коммерческий ИИ-ПАК и берет на себя ответственность за то, что конфигурации работают. Команда Скала^р проводила нагрузочные испытания сервера Yadro G4208P G3: разные профили параллельных запросов, объемы токенов, конфигурации ускорителей. Тестировались как GPU-карты Nvidia, так и китайские акселераторы. Последние в составе платформ Yadro вышли на уровень мировых аналогов, а в отдельных конфигурациях превзошли показатели платформ-конкурентов.

Ключевой технический результат в оптимизированной NUMA-компоновке в соотношении GPU/NIC. По-простому: это правильное физическое распределение GPU, сетевых карт и процессоров внутри сервера. NUMA-топология определяет, насколько быстро данные ходят между ускорителями и сетью. Это напрямую влияет на производительность как внутри одного узла, так и при горизонтальном масштабировании кластера.

GPU-ресурсы дорогие, и неоптимальная компоновка буквально сжигает бюджет: железо куплено, а 15-20% мощности уходит в никуда из-за архитектурных потерь. Rubytech утверждает, что правильные конфигурации в связке с ПО управления Скала^р Спектр ИИ сокращают эти потери на 10–20% и выше: как на аппаратном уровне, так и программными средствами.

По результатам тестов система обеспечила время отклика LLM в пределах 5 секунд под максимальной нагрузкой на все подсистемы сразу: вычислительную, сетевую и дисковую. Полный стек итоговой архитектуры охватывает серверы, коммутаторы и хранилища на аппаратном уровне и контейнерную инфраструктуру, языковые модели, агентов и инструменты для специалистов по данным на программном.

Подписывайтесь на Телекоммуналка