Uma equipe de pesquisa da Universidade Estadual da Pensilvânia desenvolveu um aplicativo para smartphones chamado NaviSense, que combina sugestões de pessoas com deficiência visual com tecnologia de inteligência artificial (IA). Este aplicativo visa ajudar pessoas com deficiência visual a perceber a localização de objetos em tempo real. A ferramenta utiliza comandos de voz para identificar o objeto que o usuário procura e o guia para encontrá-lo em seu ambiente por meio das funções de áudio e vibração integradas ao telefone. Comparado às ferramentas de assistência visual existentes, o NaviSense oferece uma experiência de usuário superior.

A equipe apresentou o NaviSense na conferência ACM SIGACCESS ASSETS '25 em Denver, de 26 a 29 de outubro, e ganhou o Prêmio de Escolha do Público para o Melhor Pôster. Informações detalhadas sobre o NaviSense foram publicadas nos anais da 27ª Conferência Internacional ACM SIGACCESS sobre Ciência da Computação e Acessibilidade. De acordo com o líder da equipe, Vijay Rishinan Narayanan, muitos programas de assistência visual existentes dependem de equipes de suporte presenciais ou de modelos de objetos pré-carregados, o que leva a ineficiências e preocupações com a privacidade. O NaviSense integra um Modelo de Linguagem Amplo (LLM) e um Modelo de Linguagem Visual (VLM), permitindo que ele aprenda com o ambiente ao seu redor e reconheça objetos em tempo real sem a necessidade de modelos pré-carregados, um marco significativo para a tecnologia.

Ajay Narayanan Sridhar, pesquisador estudantil líder no projeto NaviSense, afirmou que a equipe entrevistou pessoas com deficiência visual antes do desenvolvimento para adaptar a funcionalidade às necessidades do usuário. A ferramenta pode pesquisar e filtrar objetos com base em comandos de voz, oferecendo recursos conversacionais para refinar a busca. Além disso, o NaviSense pode rastrear os movimentos da mão do usuário em tempo real, fornecendo feedback sobre a posição do objeto em relação à mão — um recurso difícil de alcançar com outras ferramentas disponíveis no mercado. Os resultados dos testes mostram que o NaviSense reduz significativamente o tempo que os usuários gastam procurando objetos, melhora a precisão do reconhecimento e oferece uma experiência de usuário superior em comparação com outras ferramentas.

Naraanan Sridhar observou que, embora a versão atual do NaviSense seja eficaz e fácil de usar, ainda há espaço para melhorias. A equipe está trabalhando para otimizar o consumo de energia do aplicativo e melhorar a eficiência do LLM e do VLM para impulsionar sua aplicação comercial.