O desenvolvimento da inteligência artificial depende da aprendizagem das máquinas. De certa forma, as máquinas precisam “aprender a aprender”. E se a melhor forma de aprender é através dos nossos erros, estão no caminho certo.

O avanço acontece graças ao novo algoritmo de código aberto chamado Hindsight Experience Replay (HER), desenvolvido por pesquisadores da empresa OpenAI, com sede nos EUA. Nos últimos meses, pesquisadores da OpenAI têm se concentrado no desenvolvimento do processo de aprendizagem da inteligência artificial.

O algoritmo ajuda um agente de IA a “olhar para trás” em retrospectiva, por assim dizer, à medida que completa uma tarefa. De acordo com a OpenAI, a máquina passa a interpretar as falhas como sucessos, para chegar ao resultado pretendido no início da tarefa.

“O ponto chave de HER é algo o que os humanos fazem intuitivamente: mesmo que não tenhamos sucesso em um objetivo específico, pelo menos conseguimos um objetivo diferente. Então, por que não apenas fingir que queríamos atingir esse objetivo desde o começo, em vez do que pretendíamos alcançar originalmente?”,explicam os pesquisadores.

“Ao fazer a substituição, o algoritmo de aprendizagem de reforço pode obter um sinal de aprendizagem, uma vez que alcançou um objetivo, mesmo que não fosse esse o que pretendia originalmente. Se repetirmos esse processo, eventualmente aprenderemos a alcançar objetivos arbitrários, incluindo os objetivos que realmente queríamos alcançar”, assinalam.

Isso significa que todas as tentativas fracassadas da inteligência artificial funcionam como outro objetivo “virtual” não planejado.

Acontece algo parecido conosco quando aprendemos. Quando tentamos andar de bicicleta pela primeira vez, não conseguimos nos equilibrar corretamente. Mesmo assim, as tentativas nos ensinam o que fazer e o que evitar. Cada fracasso nos aproxima do objetivo. É assim que os seres humanos aprendem – e agora as máquinas também.

Com o HER, o OpenAI quer que suas inteligências artificiais aprendam da mesma forma. Ao mesmo tempo, o método se tornará uma alternativa ao sistema de recompensascomum envolvido em modelos de reforço de aprendizagem.

Para ensinar a IA a aprender por conta própria, ela tem que trabalhar com um sistema de recompensas. Os sistemas usados hoje ou dão “cookies” para a inteligência artificial quando ela alcança o objetivo – e não dão nada quando não alcança, ou dão cookies dependendo de quão perto a IA está de atingir o objetivo.

Nenhum dos métodos é perfeito. O primeiro não dá espaço para a aprendizagem, enquanto o segundo pode ser bastante complicado de implementar.

Ao tratar cada tentativa como um objetivo em retrospectiva, HER dá a um agente de IA uma recompensa mesmo quando na verdade ele não conseguiu realizar a tarefa especificada. Isso ajuda a inteligência artificial a aprender mais rápido e com maior qualidade.

No vídeo abaixo, é possível ver como isso funciona na prática. São mostradas diversas tarefas feitas por HER e por outra inteligência artificial. A aprendizagem do novo sistema tem resultados muito melhores.

O método não significa que HER facilita completamente a aprendizagem. “Aprender com HER em robôs reais ainda é difícil, pois ainda requer uma quantidade significativa de amostra”, aponta Matthias Plappert, da OpenAI.

Em qualquer caso, como as simulações da OpenAI demonstraram, ela pode ser bastante útil para “encorajar” os agentes de IA para aprender com seus erros.