Como avaliar o QI da IA? Dá uma guglada

Calma que eu explico. Mas antes vamos ao fato: no início de julho, pesquisadores da DeepMind, uma subsidiária do Google focada em inteligência artificial, publicaram um artigo no qual detalham o projeto em que estão envolvido, buscando desenvolver uma metodologia para de medir as capacidades de raciocínio abstrato da Inteligência Artificial. Para isso, estão usando os mesmos testes que usamos para medir as capacidades de raciocínio abstrato dos seres humanos.

Em outras palavras, querem descobrir um jeito de avaliar o QI da IA.

A Inteligência Artificial tem se mostrado muito boa em realizar tarefas específicas, mas ainda está longe de apresentar o que se chama inteligência geral, o tipo de inteligência que permitiria à IA navegar pelo mundo da mesma maneira que os humanos – ou até mesmo os animais.

Um dos elementos-chave da inteligência geral é o raciocínio abstrato – a capacidade de pensar além do “aqui e agora” para ver padrões e relacionamentos mais sutis e se envolver em pensamentos complexos.

Nos humanos, medimos o raciocínio abstrato usando testes visuais de QI bastante diretos. Um teste popular, chamado Matrizes Progressivas de Raven, apresenta várias linhas de imagens com a última linha faltando a imagem final. Cabe ao candidato escolher a imagem que deve vir a seguir com base no padrão das linhas concluídas. O teste não diz ao usuário do teste o que procurar nas imagens – talvez a progressão tenha a ver com o número de objetos em cada imagem, sua cor ou seu posicionamento. Cabe a eles descobrirem por si mesmos usando sua capacidade de raciocinar abstratamente.

Para aplicar este teste em sistemas de Inteligência Artificial, os pesquisadores da DeepMind criaram um programa para gerar problemas como os da MPR. Em seguida, treinaram vários sistemas de IA para resolver esses problemas. E, finalmente, testaram os sistemas.

Em alguns casos, eles usaram problemas de teste com os mesmos fatores abstratos do conjunto de treinamento – como treinar e testar IA em problemas que exigiam que ele considerasse o número de formas em cada imagem. Em outros casos, eles usaram problemas de teste que incorporavam fatores abstratos diferentes do que aqueles no conjunto de treinamento. Por exemplo, eles poderiam treinar a IA em problemas que exigissem a consideração do número de formas em cada imagem, mas depois as testariam naqueles que exigissem que ela considerasse as posições das formas para descobrir a resposta correta.

Os resultados do teste não foram ótimos. Quando os problemas de treinamento e os problemas de teste se concentravam nos mesmos fatores abstratos, os sistemas se saíam bem, respondendo corretamente aos problemas 75% do tempo. No entanto, os sistemas de IA tiveram um desempenho muito fraco quando o conjunto de testes diferia do conjunto de treinamento, mesmo quando a variação era pequena (por exemplo, treinamento em matrizes que apresentavam objetos de cores escuras e testes em matrizes que apresentavam objetos de cores claras).

Em resumo, o teste de QI da IA mostrou que até mesmo alguns dos sistemas mais avançados da atualidade não conseguem descobrir problemas para os quais não foram treinados para resolver. Isso significa que provavelmente ainda estamos longe da IAG, inteligência artificial geral. Mas pelo menos agora temos uma maneira direta de monitorar nosso progresso.

Fonte: Futurism