De acordo com pt.wedoany.com-A JD.com, da China, exibiu pela primeira vez em conjunto, na Conferência Mundial de Inteligência Artificial (WAIC), a série completa de grandes modelos JoyAI, a coleta de dados incorporados e a cadeia de treinamento, bem como o AI Home construído com o JoyInside como base, marcando a extensão da capacidade da IA física da compreensão de conteúdo digital para a percepção do ambiente do mundo físico, tomada de decisão em tempo real e execução específica.
A JD.com lançou na WAIC o "pacote completo" de modelos JoyAI voltados para o mundo físico, abrangendo voz, imagem, vídeo, interação em tempo real e inteligência incorporada. Entre eles, no aspecto de modelos de visão, o JoyAI-Image-Edit, que já foi disponibilizado como código aberto, realiza transformação de perspectiva e passeio espacial; o JoyAI-Echo mantém a consistência de vídeos longos por meio de memória cross-modal; e o JoyAI-VL-Interaction comprime a compreensão e a resposta para o nível de milissegundos. O mais recente resultado de pesquisa, o modelo de edição de vídeo em tempo real JoyAI-Video-Edit, permite que os usuários modifiquem a imagem em tempo real durante a pré-visualização. Na interação por voz, a JD.com lançou o modelo base JoyAI-Voice e o novo modelo de interação por voz JoyAI-Talker, sendo que este último consegue reconhecer as emoções e a intenção real do usuário, possuindo interação de baixa latência e capacidade de interrupção a qualquer momento. Na etapa de execução, da decisão à ação, a JD.com apresentou o modelo base de manipulação móvel JoyAI-RA, que, por meio de uma estrutura de treinamento unificada, alinha diferentes robôs com a experiência operacional humana.
Para apoiar a operação da IA física no mundo real, a JD.com construiu a primeira infraestrutura de dados incorporados do mundo que cobre toda a cadeia de coleta, armazenamento, rotulagem, treinamento, avaliação, simulação e teste. Atualmente, já mobilizou 600.000 pessoas para participar da coleta de dados e construiu o maior centro de coleta de dados incorporados do mundo, com a previsão de coletar 10 milhões de horas de dados humanos reais em dois anos. Na WAIC, a JD.com disponibilizou como código aberto o maior conjunto de dados de perspectiva em primeira pessoa da indústria, o EgoLive, contendo 2.000 horas de vídeo, 65.858 episódios, cobrindo 346 tarefas do mundo real. Os visitantes podem usar o terminal de coleta de ultra-alta definição desenvolvido internamente, o JoyEgoCam, para realizar tarefas em frente às prateleiras. Após a rotulagem automática e o processamento estruturado, os dados são enviados para um ambiente de gêmeo digital para treinamento e, em seguida, implantados em robôs físicos, formando um ciclo completo.
A JD.com também encapsulou as capacidades do grande modelo JoyAI no sistema de IA de hardware inteligente JoyInside, conectando as capacidades de percepção, compreensão, memória e interação para lidar com reconhecimento de fala, compreensão de intenção, memória de longo prazo e coordenação de múltiplos dispositivos em cenários domésticos. Na WAIC, foram exibidos um colchão inteligente equipado com JoyInside, que pode capturar sinais vitais do sono e fazer perguntas proativamente, e uma luminária de projeção AI JoyInside, que, por meio de projeção difusa sem tela e correção de questões escaneadas multimodais, realiza respostas e correções em tempo real. Atualmente, o número médio de rodadas de diálogo em hardware inteligente conectado ao JoyInside aumentou em mais de 120%, e o escopo de cooperação já abrange quase 200 marcas da indústria de eletrodomésticos, robôs e brinquedos de IA, com a previsão de conectar mais de 10 milhões de dispositivos terminais este ano.
