13.04.2026 07:52
Как смарт-часы стали 3D-трекером жестов: проект WatchHand
☝🏻Обычные смарт-часы можно превратить в 3D-трекер жестов
Систему под названием WatchHand разработали исследователи из Корнеллского университета и южнокорейского KAIST.
🔻Принцип работы напоминает миниатюрный сонар:
Динамик часов излучает неслышимые частотно-модулированные сигналы в диапазоне 18–21 кГц, а встроенный микрофон ловит отражения от ладони и пальцев.
Полученные эхо-профили обрабатывает нейросеть прямо на устройстве и в реальном времени восстанавливает 3D-позу кисти по 20 суставам пальцев.
☝🏻☝🏻Никакого дополнительного железа не требуется — система работает на серийных часах под управлением Wear OS: Samsung Galaxy Watch 7, Xiaomi Watch 2 Pro и Google Pixel Watch 3.
Все вычисления происходят локально, поэтому данные о движениях рук не покидают часы.
☝🏻Точность подтверждена в четырёх исследованиях с участием 40 человек и 36 часами собранных жестов.
Система устойчива к шуму и разным позам тела, но пока работает только на Android.
Датасет авторы выложили в открытый доступ на GitHub.🛠
☝🏻Применений у технологии масса: жестовое управление, ввод текста "по воздуху", контроллер для AR/VR и ассистивные интерфейсы для людей с ограниченной мобильностью.
Систему под названием WatchHand разработали исследователи из Корнеллского университета и южнокорейского KAIST.
🔻Принцип работы напоминает миниатюрный сонар:
Динамик часов излучает неслышимые частотно-модулированные сигналы в диапазоне 18–21 кГц, а встроенный микрофон ловит отражения от ладони и пальцев.
Полученные эхо-профили обрабатывает нейросеть прямо на устройстве и в реальном времени восстанавливает 3D-позу кисти по 20 суставам пальцев.
☝🏻☝🏻Никакого дополнительного железа не требуется — система работает на серийных часах под управлением Wear OS: Samsung Galaxy Watch 7, Xiaomi Watch 2 Pro и Google Pixel Watch 3.
Все вычисления происходят локально, поэтому данные о движениях рук не покидают часы.
☝🏻Точность подтверждена в четырёх исследованиях с участием 40 человек и 36 часами собранных жестов.
Система устойчива к шуму и разным позам тела, но пока работает только на Android.
Датасет авторы выложили в открытый доступ на GitHub.🛠
☝🏻Применений у технологии масса: жестовое управление, ввод текста "по воздуху", контроллер для AR/VR и ассистивные интерфейсы для людей с ограниченной мобильностью.