Rockchip e Agora lançam solução conjunta de controle paralelo para robôs com latência inferior a 200 ms

De acordo com pt.wedoany.com-A chinesa Rockchip e a provedora de serviços de interação em tempo real Agora lançaram conjuntamente uma solução padronizada de controle paralelo para robôs. A solução utiliza os principais chips para robôs da Rockchip, RK3588 e RK3576, como base de hardware, com profunda adaptação ao framework multimídia proprietário Rockit, integrando também os recursos de áudio e vídeo RTC e sinalização em tempo real RTM da Agora. Em ambientes de rede 4G, 5G e Wi-Fi, a latência ponta a ponta da solução é estável e inferior a 200 ms, com latência mediana de rede de apenas 76 ms, fornecendo capacidade padronizada de transmissão remota de vídeo e intervenção humana em tempo real para todas as categorias de robôs.

Atualmente, o mercado de robôs de serviço cresce rapidamente, com forte demanda por dispositivos como robôs quadrúpedes, robôs cortadores de grama e robôs de inspeção industrial. O controle paralelo é uma necessidade central para a integração homem-máquina em robôs, mas a indústria enfrenta desafios como soluções de comunicação fragmentadas, longos ciclos de desenvolvimento e falhas de controle em redes de baixa qualidade. Esta solução de hardware e software integrada, apoiada pelo poder computacional dos chips subjacentes da Rockchip, conecta o caminho completo do terminal à nuvem, visando reduzir os custos de desenvolvimento para os fabricantes.

O controle paralelo é a base de segurança para a implantação em larga escala de robôs. A navegação autônoma e a capacidade de desvio de obstáculos dos robôs podem lidar com cenários comuns, mas em situações desconhecidas, como detritos em fábricas, declives ao ar livre ou obstáculos repentinos em casa, a intervenção remota humana é necessária. Em ambientes reais complexos, a intervenção humana final é uma necessidade de longo prazo, e o controle paralelo é a garantia de segurança para a comercialização de robôs. Anteriormente, os fabricantes frequentemente desenvolviam seus próprios links de comunicação, com ciclos de depuração que duravam meses, e em redes de baixa qualidade, eram propensos a congelamento de imagem e perda de comandos. Os chips RK3588 e RK3576 da Rockchip já se tornaram os principais controladores de robôs da indústria. Esta otimização conjunta de base permite que dispositivos equipados com esta série de chips tenham capacidade de controle remoto estável nativamente.

Esta solução não é uma simples integração de interface, mas uma otimização conjunta de todo o link, desde o conjunto de instruções do chip Rockchip até a sinalização na nuvem. Seu núcleo depende do framework Rockit proprietário da Rockchip para aceleração de hardware. O framework Rockit adota uma arquitetura modular, encapsulando funções subjacentes como captura, codificação/decodificação e pré-processamento de imagem, abstraindo a lógica complexa do chip. A Agora realizou uma adaptação exclusiva com base neste framework, podendo chamar diretamente a unidade de codificação/decodificação de hardware da Rockchip, reduzindo a perda de conversão de dados em múltiplas camadas, diminuindo assim a latência e encurtando o ciclo de desenvolvimento.

Em termos de suporte de hardware de poder computacional do chip, o RK3588 possui uma CPU de oito núcleos e uma NPU proprietária com 6 TOPS de poder computacional, suportando codificação/decodificação de hardware de múltiplos canais 8K, podendo executar simultaneamente múltiplas tarefas como percepção SLAM, reconhecimento de IA e transmissão de vídeo de alta definição. O RK3576, com sua arquitetura heterogênea, equilibra controle em tempo real e baixo consumo de energia. Os chips controladores principais da Rockchip já são fornecidos em massa para empresas líderes de robôs como Unitree, Deep Robotics, Ecovacs e Geek+, servindo como plataforma de poder computacional para robôs de uso geral.

Em termos de otimização de hardware do framework, o pipeline de mídia Rockit está profundamente integrado ao mecanismo de comunicação em tempo real da Agora. Todo o processo de captura, codificação, transmissão e renderização de áudio e vídeo é acelerado por hardware, equilibrando a capacidade de resposta do controle e o baixo consumo de energia do sistema.

Após testes conjuntos de ambas as partes, os principais indicadores de desempenho medidos da solução são notáveis. A latência ponta a ponta é inferior a 200 ms, podendo chegar a 150 ms na maioria dos cenários, com latência mediana de rede de 76 ms, proporcionando feedback de controle síncrono e natural. Em ambientes com 80% de perda de pacotes de áudio e vídeo, a imagem ainda permanece contínua, e o controle remoto não é interrompido. Quando a taxa de perda de pacotes de sinalização de controle atinge 70%, a taxa de entrega de comandos como virar, agarrar, iniciar e parar é próxima de 100%. A solução completa, apoiada pelo poder computacional subjacente do chip, resolve os principais pontos problemáticos do controle remoto, ajudando a eliminar as preocupações de segurança para a comercialização de dispositivos.

Apoiado pelo poder computacional equilibrado dos chips Rockchip, a solução cobre cinco áreas principais de aplicação. No setor industrial, é adequado para braços robóticos, AGVs e cães robôs de inspeção, permitindo operação remota em oficinas de alto risco e coordenação multi-robô. Na agricultura, pode ser usado em robôs de colheita, colheita de chá e corte de grama, permitindo transmissão em tempo real de imagens de campo e resolução remota de falhas. No setor de serviços urbanos, suporta robôs de limpeza e entrega de alimentos, permitindo despacho estável em ambientes abertos de parques. No ambiente doméstico, pode ser aplicado a robôs de companhia e aspiradores, suportando visualização remota e interação em tempo real via dispositivos móveis. Na segurança pública, é adequado para equipamentos de combate a incêndio e patrulha de fronteira, atendendo às necessidades de transmissão em tempo real de imagens de locais perigosos e resolução remota.

Qualquer equipe que desenvolva robôs com base no RK3588 ou RK3576 pode entrar em contato diretamente com a Agora ou a Rockchip para obter um Demo de desenvolvimento completo, a fim de integrar rapidamente a capacidade de controle paralelo e encurtar o ciclo de lançamento do produto.