Когда банки с соусом устраивают конспиративное собрание на верхней полке, NaviSense шепчет: «чуть левее, выше… буллсай!» — и вы вдруг становитесь чемпионом по поиску макарон вслепую. Шутки шутками, но в этой фразе — суть нового приложения, созданного в Penn State: смартфон с ИИ буквально помогает людям с нарушением зрения «ощутить» расположение предметов в реальном времени.
NaviSense — это не просто камера с подписью «вроде коробка». Приложение слышит голосовой запрос, с помощью VLM и LLM распознаёт нужный объект без заранее загруженных моделей, отбрасывает лишнее и, если запрос расплывчат, вежливо уточняет. Нашлось? Телефон берёт на себя роль навигатора: вибрации и звуковые сигналы ведут пользователя — вправо-влево, выше-ниже — пока указатель не попадёт точно в цель.
Особая магия — «руководство рукой». Приложение отслеживает движение смартфона и сообщает, где именно объект находится относительно ладони. Это как невидимая нить между вами и нужной вещью — то, чего не хватало большинству существующих решений. Неудивительно, что NaviSense стало любимцем публики и получило Best Audience Choice Poster Award на конференции SIGACCESS ASSETS ’25 в Денвере.
Проект вырос из интервью с людьми с нарушением зрения, поэтому в нём мало «показной» технологий и много практической пользы. В контрольных испытаниях с 12 участниками NaviSense работало быстрее и точнее коммерческих аналогов, а отзывы были тёплыми: «даёт чёткие подсказки — влево или вправо, вверх или вниз — и потом: буллсай!»
Команда во главе с Віджайкришнаном Нараянаном и ведущим исследователем Аджаям Нараянаном Шридхаром продолжает полировку: снижают энергопотребление, шлифуют эффективность моделей, чтобы приложение жило дольше и работало шустрее. В соавторах — учёные из Penn State и USC, поддержка — Национальный научный фонд США. До коммерческого релиза, по их словам, рукой подать. А пока мир вещей становится немного дружелюбнее — и гораздо ближе на расстоянии вытянутой руки.