Notícias

Aug 14, 2023

IAs podem escrever piadas, mas não participam da piada

Preencha o formulário abaixo e enviaremos a você por e-mail uma versão em PDF de "AIs podem escrever piadas, mas não participam da piada". Preencha o formulário abaixo para desbloquear o acesso a TODOS os artigos de áudio. Grandes redes neurais, uma

Preencha o formulário abaixo e enviaremos a você por e-mail uma versão em PDF de "AIs podem escrever piadas, mas não participam da piada"

Preencha o formulário abaixo para desbloquear o acesso a TODOS os artigos de áudio.

Grandes redes neurais, uma forma de inteligência artificial, podem gerar milhares de piadas do tipo “Por que a galinha atravessou a rua?” Mas eles entendem por que são engraçados?

Usando centenas de inscrições do Cartoon Caption Contest da revista New Yorker como base de teste, os pesquisadores desafiaram modelos de IA e humanos com três tarefas: combinar uma piada com um desenho animado; identificar uma legenda vencedora; e explicando por que uma legenda vencedora é engraçada.

Em todas as tarefas, os humanos tiveram um desempenho comprovadamente melhor do que as máquinas, mesmo que os avanços da IA, como o ChatGPT, tenham colmatado a lacuna de desempenho. Então, as máquinas estão começando a “entender” o humor? Em suma, eles estão fazendo algum progresso, mas ainda não chegaram lá.

Assine o boletim informativo diário da Technology Networks, que entrega as últimas notícias científicas diretamente em sua caixa de entrada todos os dias.

“A forma como as pessoas desafiam a compreensão dos modelos de IA é criando testes para eles – testes de múltipla escolha ou outras avaliações com uma pontuação de precisão”, disse Jack Hessel, Ph.D. '20, cientista pesquisador do Allen Institute for AI (AI2). “E se um modelo eventualmente superar tudo o que os humanos obtiveram neste teste, você pensa: 'OK, isso significa que ele realmente entende?' É uma posição defensável dizer que nenhuma máquina pode verdadeiramente “compreender” porque a compreensão é uma coisa humana. Mas, quer a máquina entenda ou não, ainda é impressionante o quão bem eles se saem nessas tarefas.”

Hessel é o autor principal de “Do Androids Laugh at Electric Sheep? Humor 'Understanding' Benchmarks from The New Yorker Caption Contest”, que ganhou o prêmio de melhor artigo na 61ª reunião anual da Association for Computational Linguistics, realizada de 9 a 14 de julho em Toronto.

Lillian Lee '93, professora Charles Roy Davis na Cornell Ann S. Bowers College of Computing and Information Science, e Yejin Choi, Ph.D. '10, professor da Escola Paul G. Allen de Ciência da Computação e Engenharia da Universidade de Washington e diretor sênior de pesquisa de inteligência de senso comum da AI2, também são coautores do artigo.

Para o estudo, os pesquisadores compilaram 14 anos de concursos de legendas da New Yorker – mais de 700 no total. Cada concurso incluiu: um desenho animado sem legenda; as entradas daquela semana; os três finalistas selecionados pelos editores da New Yorker; e, para alguns concursos, estimativas de qualidade do público para cada inscrição.

Para cada concurso, os pesquisadores testaram dois tipos de IA – “de pixels” (visão computacional) e “de descrição” (análise de resumos humanos de desenhos animados) – para as três tarefas.

“Existem conjuntos de dados de fotos do Flickr com legendas como 'Este é meu cachorro'”, disse Hessel. “O interessante do caso da New Yorker é que as relações entre as imagens e as legendas são indiretas, lúdicas e fazem referência a muitas entidades e normas do mundo real. E assim a tarefa de ‘compreender’ a relação entre estas coisas requer um pouco mais de sofisticação.”

No experimento, a correspondência exigiu que os modelos de IA selecionassem a legenda finalista para um determinado desenho animado entre “distratores” que eram finalistas, mas para outros concursos; a classificação de qualidade exigia modelos para diferenciar uma legenda finalista de uma não finalista; e a explicação exigia modelos para gerar texto livre dizendo como uma legenda de alta qualidade se relaciona com o desenho animado.

Hessel escreveu ele mesmo a maioria das explicações geradas por humanos, mas depois de crowdsourcing a tarefa se mostrou insatisfatória. Ele gerou explicações de 60 palavras para mais de 650 desenhos animados.

“Um número como 650 não parece muito grande em um contexto de aprendizado de máquina, onde muitas vezes você tem milhares ou milhões de pontos de dados”, disse Hessel, “até começar a escrevê-los”.

Este estudo revelou uma lacuna significativa entre a “compreensão” em nível de IA e humano sobre por que um desenho animado é engraçado. O melhor desempenho da IA ​​em um teste de múltipla escolha de correspondência de desenho animado com legenda foi de apenas 62% de precisão, muito atrás dos 94% dos humanos no mesmo ambiente. E quando se tratava de comparar explicações geradas por humanos e por IA, as explicações humanas eram preferidas aproximadamente na proporção de 2 para 1.