A equipa de investigação da Zhejiang University propõe uma nova abordagem: ensinar à IA a forma como o cérebro humano compreende o mundo

nulo

Os grandes modelos têm continuado a aumentar de tamanho, e a visão dominante é que, quanto mais parâmetros tiverem, mais se aproximam dos modos de raciocínio humanos. No entanto, uma tese publicada a 1 de abril pela equipa da Universidade de Zhejiang, na Nature Communications, apresenta uma visão diferente (link original: após aumentar de 22 milhões para 304,37 milhões, a tarefa de conceitos concretos subiu de 74,94% para 85,87% e a tarefa de conceitos abstratos desceu de 54,37% para 52,82%).

A diferença entre como humanos e modelos pensam

Quando o cérebro humano processa conceitos, primeiro forma um conjunto de relações de categorização. Um cisne e uma coruja não parecem iguais, mas a pessoa ainda assim coloca-os na categoria “aves”. Depois, ainda mais acima, aves e cavalos podem continuar a ser colocados nessa camada — a de “animais”. Quando a pessoa vê algo novo, muitas vezes pensa primeiro com que coisa, que já viu antes, isso se parece, e mais ou menos em que categoria deverá pertencer. As pessoas continuam a aprender novos conceitos e, em seguida, organizam as experiências, usando essas relações para reconhecer coisas novas e adaptar-se a novos contextos.

Os modelos também categorizam, mas o modo como o fazem é diferente. Principalmente, baseiam-se em padrões que aparecem repetidamente em grandes quantidades de dados. Quanto mais o objecto concreto aparece, mais fácil é para o modelo reconhecê-lo. Quando se chega ao passo das categorias maiores, o modelo fica mais “com dificuldades”. Precisa de captar semelhanças entre vários objectos e, depois, agrupar essas semelhanças na mesma categoria. Os modelos actuais ainda têm uma falha evidente aqui. Depois de continuar a aumentar os parâmetros, a tarefa de conceitos concretos melhora, mas a tarefa de conceitos abstratos por vezes ainda pode descer.

O ponto em comum entre o cérebro humano e os modelos é que, em ambos, se forma um conjunto de relações de categorização. Ainda assim, os focos são diferentes: as regiões visuais de nível superior do cérebro humano naturalmente separam grandes categorias, como seres vivos e não vivos. Os modelos conseguem separar objectos concretos, mas têm dificuldade em formar de forma estável essa categoria maior. Essa diferença faz com que o cérebro humano consiga aplicar experiências antigas a novos objectos com mais facilidade; por isso, quando nos deparamos com algo que nunca vimos, conseguimos categorizar rapidamente. Já os modelos dependem mais do conhecimento existente; assim, quando encontram um novo objecto, tendem a ficar-se por características superficiais. O método proposto no artigo desenvolve-se precisamente em torno desta característica: usando sinais cerebrais para impor limites à estrutura interna do modelo, para que se aproxime mais da forma como o cérebro categoriza.

A solução da equipa da Universidade de Zhejiang

A solução apresentada pela equipa também é bastante única: não é simplesmente continuar a “empilhar” parâmetros, mas sim usar uma pequena quantidade de sinais cerebrais como supervisão. Estes sinais cerebrais provêm dos registos de actividade cerebral quando as pessoas olham para imagens. O texto original do artigo diz “transferir human conceptual structures transfer para DNNs”. Em outras palavras, é ensinar ao modelo — na maior medida possível — como o cérebro humano categoriza, como resume e organiza, e como coloca conceitos semelhantes em conjunto.

A equipa realizou experiências usando 150 categorias de treino conhecidas e 50 categorias de teste que não tinha visto. Os resultados mostram que, à medida que o treino avança, a distância entre a representação do modelo e a do cérebro diminui continuamente. Esta mudança ocorre simultaneamente nas duas categorias, o que indica que o modelo não aprendeu apenas um conjunto de amostras isoladas, mas começou verdadeiramente a aprender uma forma de organizar conceitos mais próxima da do cérebro.

Depois deste treino, o modelo tem melhor capacidade de aprendizagem quando há muito poucas amostras e, perante novas situações, apresenta também um desempenho melhor. Numa tarefa em que apenas são dados exemplos muito escassos, mas se exige que o modelo distinga conceitos abstractos como “seres vivos” e “não vivos”, o modelo melhorou em média 20,5% e ainda superou modelos de controlo com muito mais parâmetros. A equipa fez ainda 31 conjuntos adicionais de testes específicos, e vários modelos apresentaram melhorias próximas de 10%.

Nos últimos anos, o caminho familiar para a indústria dos modelos tem sido aumentar ainda mais a escala do modelo. A equipa da Universidade de Zhejiang escolheu outra direcção: de bigger is better para structured is smarter. A expansão de escala é de facto útil, mas melhora sobretudo o desempenho em tarefas familiares. A capacidade humana de compreensão abstracta e de transferência é igualmente crucial para a IA, e isto exige que, no futuro, a estrutura de pensamento da IA fique mais próxima da do cérebro humano. O valor deste rumo está em que faz com que a atenção da indústria deixe de se centrar apenas na expansão de escala e seja, de novo, puxada para a estrutura cognitiva em si.

Neosoul e o futuro

Isto levanta uma possibilidade ainda maior: a evolução da IA pode não acontecer apenas na fase de treino do modelo. O treino do modelo pode determinar como a IA organiza conceitos e como forma estruturas de julgamento de maior qualidade. Depois, ao entrar no mundo real, começa apenas uma segunda camada de evolução: como é que as decisões de um agent de IA são registadas, como é que são verificadas, como é que continua a crescer e a evoluir continuamente na competição real e mútua, tal como os seres humanos, através de autoaprendizagem e autoevolução. É exactamente isto que o Neosoul está a fazer agora. O Neosoul não se limita a fazer com que os agent de IA produzam respostas; em vez disso, coloca os agent de IA num sistema de previsão contínua, validação contínua, liquidação/fecho contínuo e selecção contínua, para que se optimizem continuamente entre as previsões e os resultados, preservando as estruturas melhores e eliminando as estruturas piores. O que a equipa da Universidade de Zhejiang e a Neosoul apontam em conjunto é, na verdade, o mesmo objectivo: fazer com que a IA deixe de ser apenas capaz de resolver exercícios, passando a ter uma capacidade de pensamento abrangente, evoluindo continuamente.