De acordo com pt.wedoany.com-Uma equipe de pesquisa chinesa propôs um novo paradigma chamado DPCN (Decentralized-Planning-Centralized-Negotiation) para resolver o problema de planejamento de caminhos multiagente (MAPF). Esse paradigma mantém a escalabilidade dos métodos descentralizados enquanto lida eficazmente com conflitos dinâmicos por meio de um mecanismo de negociação centralizada, alcançando desempenho superior aos métodos de aprendizado por reforço existentes em benchmarks padrão.
O planejamento de caminhos multiagente visa planejar caminhos livres de conflitos para múltiplos agentes em ambientes compartilhados, sendo amplamente aplicado em áreas como armazenagem automatizada, despacho de robôs de serviço e logística aeroportuária. Estratégias tradicionais de planejamento centralizado apresentam bom desempenho em problemas de pequena escala, mas a complexidade computacional aumenta drasticamente ao lidar com grandes equipes de agentes. Métodos descentralizados baseados em aprendizado por reforço oferecem escalabilidade e adaptabilidade ambiental, mas, devido à visão local limitada, são propensos a causar bloqueios, colisões e até deadlocks.
O DPCN divide cada passo temporal em duas fases: na fase de planejamento, cada agente gera intenções de ação independentemente com base em informações de observação local o_i^t (campo de visão de 3×3); na fase de negociação, o sistema detecta todos os conflitos potenciais (incluindo conflitos de vértice e conflitos de troca) e agrupa dinamicamente os agentes envolvidos em conflitos como "superagentes". Por meio da rede PNSE (Pointer Network Special Edition) aprendível, um "vencedor" é selecionado do conjunto de conflitos com base no estado do ambiente para executar sua intenção original, enquanto os demais agentes permanecem parados ou reamostram novas ações.
Para lidar com os problemas de conjuntos de ações inconsistentes e treinamento dinâmico difícil dos superagentes, a rede PNSE, inspirada em redes pointer, é capaz de processar entradas de comprimento variável e espaços de ação inconsistentes. A equipe de pesquisa propôs um mecanismo de treinamento de aprendizado por reforço com gradiente de política personalizado, utilizando aproximação de campo médio para distribuir equitativamente as recompensas globais, permitindo o treinamento eficaz de superagentes dinâmicos.
Os experimentos foram realizados em benchmarks MAPF padrão e mapas aleatórios, comparando dois tipos de planejadores centralizados (ODrM*, BALANCE) e três métodos RL de ponta (SCRIMP, DCC, PICO). Os experimentos em mapas aleatórios definiram tamanhos de mapa de 30×30 a 100×100, densidades de obstáculos de 0% a 30% e números de agentes de 32 a 256, com cada configuração repetida 200 vezes, relatando taxas de sucesso e número de passos para conclusão das tarefas. Os resultados mostram que o DPCN mantém consistentemente altas taxas de sucesso e baixo tempo de tarefa em cenários com alta densidade de obstáculos (30%) e grande escala, superando não apenas outros métodos RL, mas também planejadores centralizados.
Ao avaliar a capacidade de generalização em mapas estruturados, os experimentos utilizaram três tipos de mapas típicos: um ambiente de múltiplas salas de tamanho 32×32 (salas de 3×3), um ambiente de auditório de 162×141 e um ambiente de armazém de 170×84 (largura do corredor de prateleiras de apenas 2 células), cada mapa contendo 25 instâncias de problemas. O DPCN mantém a capacidade de coordenar eficientemente grandes equipes nessas estruturas complexas.
A equipe de pesquisa aponta que o DPCN, por meio de sua arquitetura inovadora de planejamento descentralizado e negociação centralizada, resolve eficazmente os desafios de coordenação de conflitos sob visão local, mantendo a escalabilidade. Futuramente, explorarão aplicações em obstáculos dinâmicos, agentes heterogêneos e plataformas robóticas reais.
