06.04.2026 13:03
Русскоязычный ИИ для анализа рентгенов 🤖 Российский разработчик создал мультимодальную нейросеть для анализа рентгеновс
Русскоязычный ИИ для анализа рентгенов
🤖 Российский разработчик создал мультимодальную нейросеть для анализа рентгеновских снимков на русском языке. Модель собрана из двух открытых компонентов: Google ViT для извлечения визуальных признаков и ruGPT-3 от Сбера для генерации текстовых описаний.
Для интеграции моделей пришлось модифицировать конфигурацию ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между визуальным и текстовым модулями. Обучение проводилось на американском датасете Indiana University Chest X-Ray с 7000 медицинских заключений, переведённых через Helsinki-NLP.
Обучение заняло 2.5 часа на двух GPU T4 с использованием fp16 и gradient accumulation. Модель способна распознавать патологии вроде «кальцифицированных гранулём» и описывать чистые лёгкие на русском языке, хотя иногда допускает галлюцинации.
Код проекта открыт, демо доступно на Hugging Face Spaces для тестирования.
🧠 Нейросети и Технологии. Подписаться
🤖 Российский разработчик создал мультимодальную нейросеть для анализа рентгеновских снимков на русском языке. Модель собрана из двух открытых компонентов: Google ViT для извлечения визуальных признаков и ruGPT-3 от Сбера для генерации текстовых описаний.
Для интеграции моделей пришлось модифицировать конфигурацию ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между визуальным и текстовым модулями. Обучение проводилось на американском датасете Indiana University Chest X-Ray с 7000 медицинских заключений, переведённых через Helsinki-NLP.
Обучение заняло 2.5 часа на двух GPU T4 с использованием fp16 и gradient accumulation. Модель способна распознавать патологии вроде «кальцифицированных гранулём» и описывать чистые лёгкие на русском языке, хотя иногда допускает галлюцинации.
Код проекта открыт, демо доступно на Hugging Face Spaces для тестирования.
🧠 Нейросети и Технологии. Подписаться