Uma equipe de pesquisa liderada pelo Professor Hideki Koike, do Departamento de Ciência da Computação da Universidade de Ciência de Tóquio, e pelo Dr. Shinichi Furuya, do Instituto de Pesquisa em Ciência da Computação da Sony, fez progressos significativos no campo interdisciplinar da inteligência artificial e da pesquisa do movimento humano. Eles desenvolveram um sistema chamado PianoKPM Net, capaz de estimar com precisão a atividade muscular da mão sem sensores, utilizando apenas gravações de vídeo. Isso proporciona uma nova abordagem para a análise do controle motor fino, a otimização de estratégias de reabilitação e o desenvolvimento da interação humano-computador.

Tradicionalmente, o rastreamento da atividade muscular da mão depende de sensores de eletromiografia (EMG), mas esses sensores são caros, invasivos e tecnicamente complexos. Para superar esse desafio, a equipe de pesquisa construiu o novo conjunto de dados PianoKPM, que contém 12,6 horas de dados sincronizados de 20 pianistas profissionais executando sete tarefas musicais diferentes. O conjunto de dados inclui vídeo multiview, postura da mão em 3D, dados de digitação, áudio e sinais de EMG. Com base nesse conjunto de dados, a PianoKPM Net consegue aprender e inferir o comportamento muscular a partir de dados de vídeo, além de reconstruir a sequência temporal e a intensidade dos sinais musculares combinando a postura da mão e informações sobre as teclas pressionadas. Hideki Koike afirmou: "Usando esse conjunto de dados, propusemos a PianoKPM Net, que consegue inferir sinais eletromiográficos de alta frequência a partir de dados posturais." Em testes comparativos com modelos de referência de última geração, a PianoKPM Net alcançou maior precisão na previsão tanto da amplitude quanto do tempo de ativação muscular, demonstrando sua forte adaptabilidade e capacidade de generalização.

A PianoKPM Net possui amplo potencial de aplicação, que vai além do campo do piano. Na ciência do esporte, essa tecnologia pode rastrear o esforço muscular, melhorar a precisão do treinamento e prevenir lesões; na reabilitação, pode monitorar o progresso da recuperação e fornecer feedback contínuo aos profissionais de saúde; na interação humano-computador, auxilia na otimização do design de interfaces assistidas por robôs e baseadas em gestos. A equipe de pesquisa planeja disponibilizar publicamente o conjunto de dados e o modelo para impulsionar a pesquisa em aprendizagem motora, inteligência incorporada e robótica assistiva, acelerando o desenvolvimento em diversas áreas. A PianoKPM Net, que combina visão e fisiologia, oferece uma nova abordagem para o estudo do controle motor fino, representando um avanço significativo na análise acessível de movimentos precisos impulsionada por IA.