Notícias

Aug 06, 2023

IAs também não recebem cartoons da New Yorker • The Medical Republic

2 de agosto de 2023 A última página E não pergunte a um robô qual é o problema da comida de avião. Seu correspondente da Back Page cresceu como o mais velho de quatro filhos, que nasceu em dois pares de gêmeos. Nós tinhamos um

2 de agosto de 2023

A última página

E não pergunte a um robô qual é o problema com a comida de avião.

Seu correspondente da Back Page cresceu como o mais velho de quatro filhos, que nasceu em dois pares de gêmeos. Tivemos uma infância perfeitamente feliz – nunca discutimos e sempre nos demos bem.

Se você acreditou na última frase, você é claramente filho único.

Éramos competitivos em tudo: desporto, sucessos académicos, quem podia sentar-se no banco da frente… E especialmente Mario Kart, que passámos muitas horas a jogar na nossa Nintendo 64 azul-gelo.

Ainda há coisas pelas quais competimos quando adultos, mas isso se limita principalmente a quem ganha o maior presente de Natal a cada ano (só para constar, no ano passado foi minha irmã gêmea, que ganhou um novo conjunto de panelas).

Hoje, nós, humanos, enfrentamos uma competição ainda mais acirrada do que a dos nossos irmãos ou daquele garoto super chato da nossa turma na escola, mas não vem de uma pessoa. Em vez disso, é IA.

A Back Page discutiu anteriormente muitos casos em que a IA supera os humanos: fazendo exames simulados de obstetrícia/ginecologia, sendo empático, lendo ECGs e identificando quais músicas serão um “sucesso” ou “fracasso”.

Mas parece que os investigadores norte-americanos finalmente encontraram algo em que os humanos ainda são superiores à IA: ser engraçado.

Como parte do estudo, que ganhou o prêmio de melhor artigo na 61ª reunião anual da Association for Computational Linguistics no mês passado em Toronto, os pesquisadores desafiaram modelos de IA (como ChatGPT) e humanos para três tarefas baseadas no concurso de legendas de desenhos animados da New Yorker: combinar uma legenda com o desenho animado, escolher a legenda vencedora e explicar por que a legenda vencedora é engraçada.

O estudo foi construído em torno de um corpus de mais de 700 concursos de legendas selecionados ao longo de um período de 14 anos. Cada concurso incluiu um cartoon sem legenda, inscrições enviadas pelos leitores e três finalistas selecionados pelos editores.

A primeira tarefa testou se a IA poderia escolher qual das cinco legendas era apropriada para um desenho animado específico. A resposta correta era sempre um dos três finalistas selecionados pelos editores, enquanto as respostas incorretas eram finalistas selecionados aleatoriamente de outras imagens (o que significa que provavelmente eram engraçados, mas não correspondiam ao contexto do desenho animado em questão).

A tarefa final testou se a IA poderia escrever uma breve explicação de por que as legendas eram engraçadas e apropriadas para o desenho animado selecionado, como quando você tem que explicar uma piada para um amigo que não entende.

Os pesquisadores testaram dois tipos de IA em cada uma das três tarefas. A primeira foi a configuração “de pixels”, onde a IA recebeu apenas o desenho animado sem legenda, enquanto na segunda configuração “da descrição” a IA só teve acesso a uma descrição do desenho animado baseada em texto. Isso deu aos modelos de IA que não possuem um componente de processamento de imagem integrado a oportunidade de flexibilizar seu senso de humor (ou a falta dele).

Os participantes humanos tiveram um desempenho muito melhor na tarefa de correspondência, selecionando a resposta correta 96% das vezes em comparação com a IA, onde o modelo de IA com melhor desempenho apenas escolheu a resposta correta 62% das vezes.

Em outra vitória para os humanos, a explicação escrita por humanos sobre por que a legenda era engraçada foi preferida às explicações geradas por IA, numa base de dois para um. Os pesquisadores sugerem que a IA interpretou incorretamente algumas das imagens, mas The Back Page não está convencido de que a IA não olhou com desprezo para seus narizes virtuais e adotou um tom realmente condescendente com o painel de jurados.

Espera-se que essas descobertas sejam bem recebidas pelo Writers Guild of America, que atualmente está atacando os resíduos do streaming de mídia e o uso de IA na produção de roteiros. A Guilda quer que a IA seja usada apenas como uma ferramenta para ajudar nas ideias de roteiro, em vez de substituí-las completamente.

Essas descobertas, que não pintam a comédia da IA ​​de uma forma particularmente lisonjeira, parecem apoiar essa visão.