A sofisticação dos seus prompts é o que garante a sofisticação dos seus resultados
Entenda como a engenharia de comandos evoluiu e quais as implicações dessa evolução para o futuro das conversas de IA.
Já faz algum tempo de que a ideia de que a engenharia de prompts se tornou obsoleta tem circulado na internet. Isso ocorre, por um lado, porque os modelos de linguagem pura se tornaram mais flexíveis e robustos, tolerando melhor a ambiguidade, e, por outro lado, porque os modelos de raciocínio conseguem contornar prompts falhos e, assim, entender melhor o usuário.
Seja qual for o motivo exato, a era das “frases mágicas” que funcionavam como encantamentos e truques de palavras hiperespecíficos parece estar chegando ao fim. Nesse sentido, a engenharia de prompts como um conjunto de truques está realmente morrendo.
Mas a Anthropic agora quantificou algo mais sutil e importante. Eles descobriram que, embora a formulação exata de uma pergunta importe menos do que antes, a “sofisticação” por trás dela importa enormemente. Na verdade, ela se correlaciona quase perfeitamente com a sofisticação da resposta do modelo.
Isso não é uma metáfora ou um slogan motivacional, mas sim um resultado empírico obtido a partir de dados coletados pela Anthropic de sua base de usuários. Continue lendo para saber mais, pois tudo isso é extremamente interessante, indo muito além das meras implicações para a forma como utilizamos sistemas de IA baseados em LLM.
Dados reveladores
No Relatório do Índice Econômico Anthropic de Janeiro de 2026, os autores do estudo analisaram como as pessoas realmente usam o Claude em diferentes regiões e contextos. Para começar com o que provavelmente é a descoberta mais surpreendente, eles observaram uma forte relação quantitativa entre o nível de escolaridade necessário para entender a solicitação do usuário e o nível de escolaridade necessário para entender a resposta do Claude.
Isso significa que quanto mais você aprende e quanto mais claras forem as instruções que você fornecer, melhores serão as respostas. Em outras palavras, a forma como os humanos dão as instruções é a forma como Claude responde.
E sabe de uma coisa? Eu meio que percebi isso qualitativamente ao comparar como eu e outros colegas com doutorado interagimos com sistemas de IA em comparação com a forma como usuários com pouco treinamento o fazem.
De “truques rápidos” a “andaimes cognitivos”
As primeiras discussões sobre engenharia de prompts focavam em técnicas superficiais: adicionar “vamos pensar passo a passo”, especificar uma função (“atue como um cientista de dados sênior”) ou ordenar cuidadosamente as instruções (mais exemplos disso podem ser encontrados no artigo da DeepMind que mencionei na seção de introdução). Essas técnicas eram úteis quando os modelos eram frágeis e facilmente comprometidos — o que, aliás, era usado para sobrescrever suas regras de segurança, algo muito mais difícil de se conseguir hoje em dia.
Mas, à medida que os modelos foram aprimorados, muitos desses truques tornaram-se opcionais. O mesmo modelo frequentemente conseguia chegar a uma resposta razoável mesmo sem eles.
As descobertas da Anthropic esclarecem por que isso acabou levando à percepção de que a engenharia de prompts estava obsoleta. Acontece que os aspectos “mecânicos” do uso de prompts — sintaxe, palavras-chave, rituais de formatação — de fato importam menos.
O que não desapareceu foi a importância do que eles chamam de “andaime cognitivo”: o quão bem o usuário entende o problema, com que precisão o formula e se ele sabe o que é uma boa resposta — em outras palavras, o pensamento crítico para distinguir boas respostas de alucinações inúteis.
O estudo operacionaliza essa ideia usando a educação como um indicador quantitativo de sofisticação. Os pesquisadores estimam o número de anos de escolaridade necessários para compreender tanto as perguntas quanto as respostas, encontrando uma correlação quase direta! Isso sugere que Claude não está, de forma independente, “elevando” ou “rebaixando” o nível intelectual da interação.
Em vez disso, ele espelha a entrada do usuário de forma notavelmente precisa. Isso é definitivamente bom quando você sabe o que está perguntando, mas faz com que o sistema de IA tenha um desempenho inferior quando você não sabe muito sobre o assunto ou quando digita uma solicitação ou pergunta muito rapidamente e sem prestar atenção.
Se um usuário fornece uma pergunta superficial e pouco específica, Claude tende a responder em um nível igualmente superficial. Se a pergunta codifica um conhecimento profundo do domínio, restrições bem definidas e padrões implícitos de rigor, Claude responde de forma condizente. E com certeza já vi isso nos modelos ChatGPT e Gemini, que são os que eu mais uso.
Por que isso não é trivial
À primeira vista, isso pode parecer óbvio. É claro que perguntas melhores geram respostas melhores. Mas a magnitude da correlação é o que torna o resultado cientificamente interessante. O que o estudo descobriu não é uma tendência fraca, mas uma relação estrutural bastante sólida.
Fundamentalmente, a descoberta contradiz a noção comum de que a IA poderia funcionar como um equalizador, permitindo que todos obtenham informações de nível semelhante, independentemente do idioma, nível de escolaridade e familiaridade com o assunto. Há uma esperança generalizada de que modelos avançados “elevem” usuários com pouca habilidade, fornecendo automaticamente respostas de nível especializado, independentemente da qualidade da entrada.
Os resultados obtidos pela Anthropic sugerem que esse não é o caso, e que a realidade é muito mais condicional. Embora o Claude (e isso provavelmente se aplica a todos os modelos de IA conversacional existentes) possa potencialmente produzir respostas altamente sofisticadas, ele tende a fazê-lo apenas quando o usuário fornece um estímulo que o justifique.
O comportamento do modelo não é fixo; ele é projetado.
Embora, na minha opinião, esta parte do relatório careça de dados que a sustentem e, com base na minha experiência pessoal, eu tenda a discordar, ela sugere que esse efeito de “espelhamento” não é uma propriedade inerente a todos os modelos de linguagem e que a forma como um modelo responde depende muito de como ele é treinado, ajustado e instruído.
Embora, como disse, eu discorde, consigo imaginar um sistema que force o modelo a usar sempre uma linguagem simplificada, independentemente da entrada do usuário, ou, inversamente, um que responda sempre em linguagem altamente técnica. Mas isso precisaria ser projetado.
Claude parece ocupar uma posição intermediária mais dinâmica. Em vez de impor um registro fixo, ele adapta seu nível de sofisticação à solicitação do usuário. Essa escolha de design amplifica a importância da habilidade do usuário. O modelo é capaz de raciocínio de nível especializado, mas trata a solicitação como um sinal de quanta dessa capacidade deve ser utilizada.
Seria ótimo ver outros grandes players como a OpenAI e o Google realizando os mesmos tipos de testes e análises em seus dados de uso.
