Testando a extensão da empatia com IA: um cenário de pesadelo

Muito longo; Para ler

Este documento descreve uma avaliação de como vários assistentes de IA lidam com conversas empáticas. As IAs avaliadas incluem Claude, Gemini, ChatGPT, Willow, Pi.ai, Mistral e uma versão customizada de Claude. Cada IA foi apresentada com cenários envolvendo tristeza, felicidade ou pesadelos. Suas respostas foram avaliadas com base na expressão de simpatia, tentativas de compreender o usuário, oferta de espaço para emoções, qualidade do conselho, conversa afirmativa, manifestação de empatia e escalada de problemas sérios. No geral, Willow e Pi.ai demonstraram mais empatia, enquanto Mistral lutou e precisava de orientação. O Claude customizado teve um bom desempenho em comparação com os benchmarks.