Pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT descobriram que um método de "orientação" baseado no alinhamento temporário entre redes neurais pode melhorar significativamente o desempenho de arquiteturas anteriormente consideradas inadequadas para tarefas modernas. O estudo mostra que muitas redes "ineficazes" podem simplesmente ter começado em pontos desfavoráveis, e uma orientação de curto prazo pode ajudá-las a aprender mais facilmente. Esta descoberta oferece uma nova abordagem para otimizar o desempenho de redes neurais.

O método de orientação proposto pela equipe de pesquisa transfere conhecimento estrutural diretamente, incentivando a rede-alvo a corresponder às representações internas da rede orientadora durante o treinamento. Diferente da destilação de conhecimento tradicional, este método não imita a saída do professor, mas aprende a maneira como a rede orientadora organiza a informação. Mesmo redes não treinadas contêm preferências de arquitetura transferíveis, e uma rede orientadora treinada pode ainda transmitir padrões de aprendizado. Vignesh Subramanian, doutorando do Departamento de Engenharia Elétrica e Ciência da Computação do MIT, afirmou: "Conseguimos usar a similaridade de representação para fazer essas redes tradicionalmente 'ruins' realmente funcionarem."

O estudo também comparou o método de orientação com a destilação de conhecimento. A destilação de conhecimento falha completamente quando a rede professora não é treinada, pois a saída não contém sinais significativos. Já o método de orientação ainda alcança melhorias significativas, pois utiliza as representações internas. Isso destaca os valiosos vieses de arquitetura codificados por redes não treinadas, que podem orientar outras redes a aprender efetivamente. Além disso, esta descoberta tem amplas implicações para a compreensão das arquiteturas de redes neurais; o sucesso ou fracasso depende mais da posição da rede no espaço de parâmetros do que dos dados específicos da tarefa. Ao se alinhar com uma rede orientadora, é possível distinguir a contribuição do viés de arquitetura e do conhecimento aprendido.