De acordo com pt.wedoany.com-A equipe da professora Zhang Man, da Faculdade de Informação e Engenharia Elétrica da China Agricultural University, publicou um artigo de pesquisa no periódico da Academia Chinesa de Engenharia, Engineering, intitulado "Multimodal Feature Representation Mechanism for 3D Detection of Agricultural Obstacles with Few or Zero Samples". Este estudo, voltado para a necessidade de percepção segura de obstáculos em campos durante a navegação autônoma de máquinas agrícolas inteligentes, propõe um método de detecção 3D de obstáculos agrícolas com poucas ou zero amostras, baseado em um mecanismo de representação de características multimodais, oferecendo uma nova abordagem para a operação autônoma segura e confiável de máquinas agrícolas em ambientes agrícolas não estruturados. O Engineering, fundado pela Academia Chinesa de Engenharia em 2015, é indexado pelo SCI, EI, Scopus, entre outros, com um fator de impacto SCI mais recente de 12,2, tendo ocupado o primeiro lugar entre os periódicos abrangentes de engenharia do mundo.
A navegação autônoma de máquinas agrícolas é um suporte importante para a inteligência de equipamentos agrícolas, e a percepção segura de obstáculos em ambientes agrícolas complexos é crucial para garantir a operação confiável do trabalho autônomo. Nos últimos anos, métodos de aprendizado profundo que integram dados de câmeras e LiDAR têm feito progressos significativos na detecção de obstáculos 3D, mas esses métodos geralmente dependem de grandes conjuntos de dados de treinamento anotados. Os cenários agrícolas apresentam características como não estruturação, diferenças sazonais pronunciadas e tipos complexos de obstáculos, resultando em altos custos de coleta e anotação de dados multimodais. A capacidade de generalização do modelo sob condições de poucas ou zero amostras ainda é o principal problema que limita sua aplicação prática.
O mecanismo de representação de características multimodais proposto pela equipe de pesquisa integra um corretor de postura de imagem e nuvem de pontos, utilizando informações de postura fornecidas pelo Sistema de Satélites de Navegação Beidou e pela Unidade de Medição Inercial para corrigir desvios de postura das amostras causados por terrenos acidentados em campos, melhorando a precisão, confiabilidade e consistência dos dados multimodais. Simultaneamente, são construídos um codificador de características semânticas, um codificador de características geométricas e de intensidade e um decodificador de fusão espacial em vista de pássaro, unificando as informações semânticas da imagem com as informações geométricas e de intensidade da nuvem de pontos em um espaço de representação de fusão semântica-geométrica-intensidade, capturando relações-chave entre categorias e aprimorando a capacidade do modelo de reconhecer novas categorias de obstáculos sob condições de anotação limitada.
A equipe realizou testes de campo na Estação Experimental de Zhuozhou da China Agricultural University, abrangendo cenários típicos de operação de máquinas agrícolas, como estradas de concreto, terras não cultivadas e campos de trigo, coletando dados multimodais de obstáculos típicos, como colheitadeiras, tratores e pessoas. Os resultados mostram que o método proposto alcança um bom equilíbrio entre desempenho de detecção, eficiência operacional e dependência de dados, reduzindo a dependência do modelo em amostras de treinamento em 30%-40%. Sob configuração de treinamento completo, a precisão, revocação, pontuação F1 e velocidade de detecção atingiram 95,03%, 97,01%, 96,01% e 16,56 FPS, respectivamente. Em cenários de zero amostras, onde não há amostras de treinamento correspondentes para a categoria de obstáculo, o método proposto ainda obteve uma pontuação F1 de 81,63%.
Este resultado ajuda a reduzir a dependência da detecção de obstáculos 3D em ambientes agrícolas complexos de grandes conjuntos de dados anotados, melhorando a capacidade de percepção segura de máquinas agrícolas inteligentes sob condições de obstáculos desconhecidos, terrenos complexos e alvos de múltiplas categorias, fornecendo suporte técnico para navegação autônoma, desvio dinâmico de obstáculos e operação confiável de equipamentos agrícolas inteligentes.
O artigo foi concluído em colaboração com a China Agricultural University, a Beijing Forestry University e o Instituto de Pesquisa da CRRC, sendo a China Agricultural University a primeira unidade de autoria. A professora Zhang Man é a autora correspondente, e Wang Tianhai, estudante de mestrado da turma de 2021 e ganhador da dissertação de mestrado excelente da universidade em 2024, é o primeiro autor. A pesquisa recebeu financiamento do Programa Nacional de Pesquisa e Desenvolvimento Chave (2022YFD2001600-2022YFD2001601). A convite do periódico Engineering, a professora Zhang Man participou da palestra especial "Sensores Agrícolas" do Engineering Lecture Hall em 30 de junho de 2026, apresentando online os resultados desta pesquisa.
