05.05.2026 11:44
🤖 CocoIndex v1: инкрементальный ETL-движок для AI-агентов CocoIndex выпустила первую стабильную версию своего опенсорсн
🤖 CocoIndex v1: инкрементальный ETL-движок для AI-агентов
CocoIndex выпустила первую стабильную версию своего опенсорсного движка для построения данных под агентов длительного действия. Инструмент автоматизирует обработку данных и их мгновенную индексацию в векторные базы или графы знаний.
Отказ от DSL в пользу нативного Python
Главное изменение v1 — полный отказ от предметно-ориентированного языка (DSL). Весь пайплайн описывается обычными асинхронными функциями Python, которые вызывают друг друга. Движок отслеживает изменения и материализует целевые состояния через нативный Python-API.
Авторы вдохновлялись тезисом Джеффа Дина и Билла Далли (GTC 2026): агенты работают в ~50 раз быстрее человека, но опираются на инструменты, рассчитанные на человеческий темп. Ночные пересборки индексов — устаревший подход; нужен движок с инкрементальной синхронизацией.
Ключевые изменения v1:
* Система типов Python: PIL.Image, pyarrow.Table, torch.Tensor и любые классы передаются напрямую, без обёрток.
* Postgres больше не обязателен: состояние хранится в одном локальном файле. Postgres остаётся таргетом, но перестал быть зависимостью.
* Динамические источники и таргеты: создаются во время выполнения — можно монтировать таргет на тенанта, строить топологию по строкам конфигурации или подключать Kafka-топик по фича-флагу.
Ядро на Rust
Вся горячая логика детекции и применения изменений реализована на Rust. На уровне Python декоратор подключает функцию к отслеживанию, а флаг кеширует результат по хешу аргументов и кода — правка хелпера инвалидирует только зависимых вызывающих.
Контракт управляемых таргетов
Разработчик декларирует схему таблицы, графа или директории — CocoIndex сам выполняет create/alter/drop для контейнеров и insert/update/delete для содержимого, включая удаление осиротевших объектов. Контракт работает для Postgres, LanceDB, Neo4j, Kafka, S3 и файлов на диске.
Лицензия: Apache 2.0. Репозиторий содержит примеры пайплайнов: эмбеддинги кода в LanceDB, обработка PDF, сборка графа знаний из разговоров.
🧠 Нейросети и Технологии. Подписаться
CocoIndex выпустила первую стабильную версию своего опенсорсного движка для построения данных под агентов длительного действия. Инструмент автоматизирует обработку данных и их мгновенную индексацию в векторные базы или графы знаний.
Отказ от DSL в пользу нативного Python
Главное изменение v1 — полный отказ от предметно-ориентированного языка (DSL). Весь пайплайн описывается обычными асинхронными функциями Python, которые вызывают друг друга. Движок отслеживает изменения и материализует целевые состояния через нативный Python-API.
Авторы вдохновлялись тезисом Джеффа Дина и Билла Далли (GTC 2026): агенты работают в ~50 раз быстрее человека, но опираются на инструменты, рассчитанные на человеческий темп. Ночные пересборки индексов — устаревший подход; нужен движок с инкрементальной синхронизацией.
Ключевые изменения v1:
* Система типов Python: PIL.Image, pyarrow.Table, torch.Tensor и любые классы передаются напрямую, без обёрток.
* Postgres больше не обязателен: состояние хранится в одном локальном файле. Postgres остаётся таргетом, но перестал быть зависимостью.
* Динамические источники и таргеты: создаются во время выполнения — можно монтировать таргет на тенанта, строить топологию по строкам конфигурации или подключать Kafka-топик по фича-флагу.
Ядро на Rust
Вся горячая логика детекции и применения изменений реализована на Rust. На уровне Python декоратор подключает функцию к отслеживанию, а флаг кеширует результат по хешу аргументов и кода — правка хелпера инвалидирует только зависимых вызывающих.
Контракт управляемых таргетов
Разработчик декларирует схему таблицы, графа или директории — CocoIndex сам выполняет create/alter/drop для контейнеров и insert/update/delete для содержимого, включая удаление осиротевших объектов. Контракт работает для Postgres, LanceDB, Neo4j, Kafka, S3 и файлов на диске.
Лицензия: Apache 2.0. Репозиторий содержит примеры пайплайнов: эмбеддинги кода в LanceDB, обработка PDF, сборка графа знаний из разговоров.
🧠 Нейросети и Технологии. Подписаться