Na prática I: a confiança em AI em produtos reais

Os três artigos anteriores defenderam três ideias. A confiança é a moeda do valor e da infraestrutura. A imaturidade pode ser medida e corrigida. E as pessoas permanecem quando encontram condições que respeitam sua natureza, e não apenas funcionalidades. A seguir, alguns exemplos mostram como isso aparece em produtos, projetos e interações atuais, a partir de algumas perguntas-chave.

Isso aparece em algum produto em uso ou é apenas um posicionamento?

Isso aparece, primeiro, como um problema de mensuração.

Um assistente de suporte que mudou as métricas

Aprimoramos a capacidade conversacional de um assistente de suporte de TI em um ambiente controlado, de alto valor e voltado ao atendimento de clientes. Antes do lançamento, o novo comportamento trouxe perguntas e desafios inéditos. Eles eram diferentes da forma como construíamos e medíamos KPIs e SLAs no passado, inclusive na versão anterior, mais controlada.

Duas perguntas que não esperávamos fazer precisaram de resposta:

• Como uma sessão termina, ou como determinamos que ela terminou?
• Como sabemos que a pessoa viveu a interação como bem-sucedida, para além de uma pontuação de satisfação?

Conversas orgânicas não seguem um roteiro

Os indicadores padrão de suporte pressupõem um caminho claro:

1. abertura do chamado
2. oferta de conhecimento de autoatendimento
3. resolução do chamado
4. coleta da pontuação de CSAT
5. encerramento do registro dos dois lados, caso não haja outra dúvida ou necessidade.

Conversas orgânicas, porém, não funcionam assim. Elas seguem outra construção, que pode ser divergente ou breve e, ainda assim, gerar uma experiência positiva. Por isso, levamos dois meses para construir o comportamento e as métricas adequados ao que realmente acontecia. Melhor dizendo, adequados ao que a evolução das interações exigia.

Os resultados após o lançamento

Após o lançamento, as avaliações negativas e os defeitos reportados caíram significativamente. Além disso, as escaladas para além do primeiro nível de suporte diminuíram, assim como o uso de canais paralelos e de caminhos não registrados. Novos tipos de chamados também passaram a ser capturados e medidos em paralelo, com base em processos e jornadas.

O que acontece quando alguém percebe que está falando com uma AI?

A predisposição ao vale da estranheza é ativada. Com isso, as expectativas sobem, sobretudo quando não há orientação ou apresentação adequada. Assim, as pessoas ficam menos tolerantes quando algo falha ou fica aquém do esperado.

Por que a AI perde a confiança mais rápido

Ninguém precisa reconstruir a confiança em uma garrafa de água. Afinal, uma ferramenta comum que falha é apenas uma ferramenta que falha. Já um sistema projetado para parecer que entende você, e que depois falha, rompe outra coisa. Como simula a natureza humana, a AI gera desconfiança mais rápido e recupera a confiança mais devagar.

Onde a AI entra na jornada é uma decisão de design

Nossa liderança de design no Brasil compartilha os termos que vêm evoluindo e que adotamos em nosso fluxo de trabalho. Por exemplo, o ponto em que a AI entra em uma jornada é uma decisão de design, e não uma escolha do usuário. O mesmo vale para o comportamento projetado, que depende do objetivo da experiência.

Uma AI visível e escolhida é uma coisa; incorporada e invisível é outra. Ambas têm uma finalidade e apresentam riscos. Por isso, as organizações ainda exploram o tema, enquanto buscam definir governança, responsabilidade, acessibilidade, limites de segurança e orquestração.

Se as pessoas são menos tolerantes, o que é possível fazer?

Uma plataforma de AI no ambiente de um cliente oferece um caso claro, com uma descoberta inesperada.

Quando a adoção cai em silêncio

A adoção desacelerou rapidamente depois de poucas interações. O motivo não era falta de capacidade nem de treinamento com o conhecimento correto. Na verdade, as pessoas testaram a plataforma uma ou duas vezes e ela não entregou o que esperavam.

Não houve reclamação, chamado ou sinal em nenhum canal criado para captar insatisfação. Talvez houvesse um canal da comunidade que descrevia bugs, mas não estava claro como expressar falta de confiança ou de capacidade. Em resumo, uma ferramenta mal apresentada e mal explicada na primeira impressão resultou em nenhum novo uso e em retenção muito curta.

Orientação e alfabetização em AI

Depois, o que ajudou foi uma estratégia social de orientação e alfabetização em AI. Isso vai além do onboarding. O contexto certo mostra o que o sistema pode e não pode fazer, sem excesso nem falta. Desse modo, cria um momento de respeito mútuo, que funciona nos dois sentidos.

A pessoa forma um modelo de funcionamento, ajusta a forma de interagir e assume a responsabilidade pela troca. Assim, a gestão de expectativas se torna flexível e mensurável, em vez de frágil e perdida.

Há, no entanto, um contraponto que encontramos o tempo todo. Mesmo com uma mensagem introdutória explicando o que um agente de suporte faz, muitas pessoas pedem a ele uma receita de bolo de chocolate. Isso não é uso indevido. Trata-se de um hábito que vem do uso de AI em buscas, de onde vem, em geral, a maior parte do uso de AI dessas pessoas.

Uma conversa entre nossas lideranças de design na Espanha e no Brasil

Espanha: O que passei a valorizar é quando um produto para e pede que você verifique algo. Ou quando afirma claramente que não sabe, expõe sua limitação e indica onde buscar a informação. Essa responsabilização e essa responsabilidade compartilhada fazem duas coisas. Primeiro, constroem mais confiança, e não menos, com base na capacidade e nos limites reais da ferramenta. Segundo, deixam espaço para que a pessoa traga suas próprias informações, refine a troca e sinta colaboração e controle: uma missão coconduzida. Quando algo é entregue com confiança excessiva, o que se obtém é deferência, e a deferência encerra a conversa.

Brasil: Também é uma forma de gastar mais tokens.

Espanha: Sim. As duas coisas podem ser verdade. Isso me faz pensar: qual é o objetivo que queremos alcançar aqui? Podemos encontrar um equilíbrio ou escolher o que será coconduzido e o que não será? Ou isso se torna uma oportunidade para um modelo de negócio totalmente novo?

Essas perguntas ainda não têm resposta, e não podemos afirmar com certeza que serão nossa prioridade. Mesmo assim, elas surgem à medida que ganhamos foco e reaprendemos nossos próprios processos. Talvez continuar encontrando as perguntas certas seja exatamente onde precisamos estar agora. Enquanto isso, seguimos testando, curiosos e moldando um framework centrado no ser humano para projetar experiências de AI.

Quando seus próprios dados enganam você?

Quando eles medem aquilo para o que foram criados, mas o produto já evoluiu além disso.

Uma satisfação de 93% que escondia problemas

Um estudo sobre a experiência digital dos colaboradores, em um grande projeto com um cliente, apontou 93% de satisfação com o service desk. No entanto, por trás desse número havia uma percepção diferente da ferramenta. Ela se concentrava no desempenho dos dispositivos e na dificuldade de documentar o trabalho.

Uma pontuação alta pode enganar se não entendemos as nuances que a produziram. Tratada como pergunta, e não como resposta, ela abriu um programa de trabalho. Temos observado essa tendência em vários clientes. Como consultores, cabe a nós garantir que as práticas apresentadas nesta série possam ser auditadas e sustentem a narrativa mais próxima da realidade dos colaboradores.

Métricas que parecem fracasso, mas não são

A mesma lacuna apareceu em uma plataforma que redesenhamos com foco em expectativas, e não em usabilidade. No primeiro mês, a aquisição de usuários cresceu de 20% a 30% em algumas regiões e cerca de 40% em outras, em relação ao mês anterior. Ao mesmo tempo, caíram o número de páginas visitadas e o tempo gasto nelas. Por outro lado, os downloads e as ações de conclusão aumentaram, e as sessões de usuários recorrentes cresceram significativamente.

Em um dashboard convencional, metade desses movimentos seria lida facilmente como fracasso. Contudo, todos apontam na mesma direção quando perguntamos para que serve o produto e qual comportamento queremos promover. Em um produto cuja função é responder e devolver a pessoa ao trabalho, permanecer nele é o sinal de fracasso.

Uma hipótese de trabalho, não uma conclusão

Tratamos isso como hipótese de trabalho, e não como conclusão. Isso porque ainda estamos formalizando como medir o comportamento desejado e quais dados capturar para testá-lo. Além disso, outros três lançamentos disputavam atenção no mesmo período, e não houve campanha formal. Um canal da comunidade e uma rede de embaixadores também estavam ativos. Portanto, esses fatores podem ter influenciado o resultado, e não apenas os redesigns.

Como a forma como um sistema fala muda algo mensurável?

Na prática, ela se torna uma métrica de suporte.

O tom emocional como propriedade governada

Em um grande cliente corporativo, definimos o tom emocional como uma propriedade governada, mantida em um hub de dados. Ou seja, ele deixou de ser uma decisão de copy tomada localmente por quem estivesse mais perto da funcionalidade. Isso impactou diretamente a experiência dos colaboradores e a percepção de confiabilidade das ferramentas.

Somado a um trabalho cuidadoso no ambiente de chat e no vocabulário afetivo, isso ajudou a aumentar o sucesso do autoatendimento. Também reduziu contatos evitáveis com o suporte de TI. Essas são linhas de custo. Ainda assim, a relação entre a forma como um sistema fala e a capacidade de a pessoa resolver o próprio problema não é intuitiva. A maioria das organizações de entrega trata o tom como um acabamento aplicado depois que a funcionalidade funciona.

O que o EU AI Act permite e proíbe

Para ser preciso: projetar como um sistema fala, com afetividade e tom positivo, não é inferir o estado emocional de um colaborador. Também não é espelhamento afetivo, como entendemos em um diálogo entre duas pessoas. Aliás, essa inferência é proibida em ambientes de trabalho pelo EU AI Act desde fevereiro de 2025 (European Union, 2024, Artigo 5(1)(f)). As duas coisas se confundem com facilidade, mas apenas uma é permitida legalmente nesse contexto.

Afinal, onde isso deixa a disciplina?

Em um lugar desconfortável, e esse desconforto é justamente o ponto.

Uma plataforma de vendas criada com AI

Participamos de uma consultoria para uma plataforma de vendas de uma grande organização, criada com ferramentas de código e design do Claude AI. O trabalho era bom. O desenvolvedor capturou a jornada de vendas com uma complexidade que conhecemos bem, porque, apesar de desenvolver para a área, atuava principalmente em vendas.

O que ficou de fora: espaço para contestar

Porém, o design da jornada deixou de fora um espaço para o usuário responder. A interface é densa em funções e ferramentas do sistema e oferece pouquíssimo espaço para questioná-lo. O próprio objetivo revela isso: a ferramenta foi criada para ajudar a otimizar, não para ajudar a validar.

Essa omissão era estruturalmente previsível. Afinal, ninguém costuma pedir um espaço para contestar o sistema. Ele não aparece nas ferramentas em que os usuários são treinados e ocupa um espaço de interface que poderia receber outra função interessante. Nada no processo de produção o evidencia. Isso só acontece quando alguém pergunta o que acontece com o julgamento da pessoa. Ou quando quem recebe o resultado analisa além do que foi produzido e percebe que “há algo errado”.

Isso levanta a pergunta que o próximo artigo responde: qual parte específica desse trabalho exige julgamento e que valor único essa prática oferece que nenhuma outra função oferece?

Referência

• European Union. (2024). Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union.