IAs não conseguem distinguir outras IAs no Teste de Turing adaptado

Um estudo recente demonstrou que até mesmo inteligências artificiais têm dificuldade em identificar outras máquinas durante uma conversa. Ao adaptar o clássico Teste de Turing, os pesquisadores colocaram sete modelos de linguagem, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3, como avaliadores. Cada sistema poderia fazer até dez perguntas para decidir se estava conversando com um humano ou outra IA.

Foram realizados 238 testes com 1.714 perguntas em total, envolvendo 20 participantes humanos e os sete modelos. Os chatbots responderam sob duas condições: com instruções simples para agir como humanos ou com personalidades detalhadas que incluíam interesses pessoais, respostas naturais e erros ocasionais. Os resultados mostraram que apenas três identificações corretas foram obtidas entre os 98 testes com sistemas de IA.

Além disso, os modelos atribuíram uma probabilidade média de 88% de serem humanos, enquanto pessoas reais tiveram 78% de chance. A personalidade detalhada ajudou a esconder os chatbots, com nenhum sistema identificado quando recebido essa configuração. Os modelos com personalidade produziram respostas médias de 39 palavras, próximo ao tamanho das respostas humanas, que oscilavam em torno de 38 palavras.