Яндекс открыл формат, который экономит до 20% серверных мощностей Яндекс выложил в открытый доступ YaFF (Yet Another Flat Format) — формат хранения и …
Яндекс выложил в открытый доступ YaFF (Yet Another Flat Format) — формат хранения и передачи данных, который позволяет работать с информацией напрямую, без обязательной десериализации.
Кратко о том, что такое «десериализация» — это преобразование компактных данных в понятные приложению объекты — на крупных проектах выполняется миллиарды раз в сутки и может съедать до 10% вычислительных ресурсов дата-центра. YaFF убирает этот шаг: вместо создания множества промежуточных объектов сервис получает доступ к данным сразу в их исходном представлении.
Подход протестировали в рекомендательной системе Рекламы Яндекса — одном из самых нагруженных сервисов компании, где каждый из сотен тысяч запросов обрабатывает десятки тысяч объектов. Потребление вычислительных ресурсов удалось снизить до 20%, сохранив прежнюю функциональность.
В Ассоциации больших данных называют выход YaFF в open source примером технологической зрелости российского ИТ-рынка и сильным решением для обработки данных в реальном времени — для маркетплейсов, финтеха, телекома и рекламных платформ:
Главная ценность — оптимизация уже имеющейся инфраструктуры: снижение нагрузки на процессоры на 10–20% позволяет масштабировать сервисы, не докупая дефицитное серверное «железо».
Для зрелой промышленной системы это много — обычно в таких бьются за доли процента. По сути, 20% означают тот же объём нагрузки на меньшем парке серверов.
Подписывайтесь на СофтТех