En la práctica I: la confianza en la AI en productos reales

Los tres artículos anteriores defendieron tres ideas. La confianza es la moneda del valor y de la infraestructura. La inmadurez puede medirse y corregirse. Y las personas permanecen cuando encuentran condiciones que respetan su naturaleza, y no solo funcionalidades. A continuación, algunos ejemplos muestran cómo se manifiesta esto en productos, proyectos e interacciones actuales, a partir de algunas preguntas clave.

¿Esto aparece en algún producto en uso o es solo un posicionamiento?

Esto aparece, primero, como un problema de medición.

Un asistente de soporte que cambió las métricas

Mejoramos la capacidad conversacional de un asistente de soporte de IT. El entorno era controlado, de alto valor y orientado a la atención de clientes. Antes del lanzamiento, el nuevo comportamiento planteó preguntas y desafíos nuevos. Eran diferentes de la forma en que construíamos y medíamos los KPI y SLA en el pasado, incluso en la versión anterior, más controlada.

Tuvimos que responder dos preguntas que no esperábamos plantearnos:

• ¿Cómo termina una sesión o cómo determinamos que ha terminado?
• ¿Cómo sabemos que la persona vivió la interacción como exitosa, más allá de una puntuación de satisfacción?

Las conversaciones orgánicas no siguen un guion

Los indicadores estándar de soporte presuponen un recorrido claro:

1. apertura del ticket
2. provisión de conocimiento de autoservicio
3. resolución del ticket
4. recopilación de la puntuación de CSAT
5. cierre del registro por ambas partes, si no existe otra duda o necesidad.

Sin embargo, las conversaciones orgánicas no funcionan de la misma manera. Siguen otra construcción, que puede ser divergente o breve y, aun así, dar como resultado una experiencia positiva. Por eso, se necesitaron dos meses para construir el comportamiento y las métricas adecuados a lo que realmente ocurría. Mejor dicho, a lo que exigía la evolución de las interacciones.

Los resultados tras el lanzamiento

Después del lanzamiento, las evaluaciones negativas y los defectos reportados disminuyeron significativamente. Además, se redujeron las escalaciones más allá del soporte de primer nivel, así como el uso de canales paralelos y de vías no registradas. Nuevos tipos de tickets también comenzaron a capturarse y medirse en paralelo, a partir de procesos y journeys.

¿Qué ocurre cuando alguien se da cuenta de que está hablando con una AI?

Se activa la predisposición al valle inquietante. Con ello, las expectativas suben, sobre todo cuando no existe una orientación o una presentación adecuadas. Así, las personas se vuelven menos tolerantes cuando algo falla o queda por debajo de lo esperado.

Por qué la AI pierde la confianza más rápido

Nadie necesita reconstruir la confianza en una botella de agua. Al fin y al cabo, una herramienta común que falla es simplemente una herramienta que falla. En cambio, un sistema diseñado para parecer que te comprende, y que después falla, rompe otra cosa. Como simula la naturaleza humana, la AI produce desconfianza con mayor rapidez y recupera la confianza con mayor lentitud.

Dónde entra la AI en el journey es una decisión de diseño

Nuestro equipo de liderazgo de diseño en Brasil comparte los términos que han ido evolucionando y que hemos adoptado en nuestro flujo de trabajo. Por ejemplo, el lugar donde se integra la AI dentro de un journey es una decisión de diseño, y no una elección del usuario. Lo mismo ocurre con el comportamiento diseñado, que depende del objetivo de la experiencia.

Una AI visible y elegida es una cosa; una incorporada e invisible es otra. Ambas tienen una finalidad y presentan riesgos. Por eso, las organizaciones siguen explorando el tema. Al mismo tiempo, buscan definir la gobernanza, la responsabilidad, la accesibilidad, las limitaciones de seguridad y la orquestación.

Si las personas son menos tolerantes, ¿qué se puede hacer?

Una plataforma de AI en el entorno de un cliente ofrece un caso claro, con un hallazgo inesperado.

Cuando la adopción cae en silencio

La adopción se ralentizó rápidamente después de unas pocas interacciones. El motivo no era la falta de capacidad ni de un entrenamiento con el conocimiento correcto. En realidad, las personas probaron la plataforma una o dos veces y no obtuvieron lo que esperaban.

No hubo quejas, tickets ni señales en los canales diseñados para detectar la insatisfacción. Tal vez existía un canal de la comunidad donde se describían bugs. Pero no estaba claro cómo expresar la falta de confianza o de capacidad. En resumen, presentar y explicar mal la herramienta desde el primer contacto hizo que no hubiera nuevas interacciones y que la retención fuera muy breve.

Orientación y alfabetización en AI

Posteriormente, lo que ayudó fue una estrategia social de orientación y alfabetización en AI. Esto va más allá del onboarding. El contexto adecuado transmite lo que el sistema puede y no puede hacer, sin exceso ni carencia. De este modo, crea un momento de respeto mutuo que funciona en ambas direcciones.

La persona forma un modelo de funcionamiento, ajusta su manera de interactuar y asume la responsabilidad por el intercambio. Así, la gestión de expectativas se vuelve flexible y medible, en lugar de frágil y perdida.

Hay, sin embargo, un contrapunto que encontramos constantemente. Incluso con un mensaje introductorio que explica lo que hace un agente de soporte, muchas personas le piden una receta de pastel de chocolate. Esto no es un uso indebido. Se trata de un hábito derivado del uso de AI en las búsquedas. En general, de ahí proviene la mayor parte del uso de AI de estas personas.

Una conversación entre nuestros equipos de liderazgo de diseño en España y Brasil

España: Lo que he empezado a valorar es cuando un producto se detiene y te dice que verifiques algo. O cuando afirma claramente que no sabe, expone su limitación y te indica dónde buscar la información. Esta rendición de cuentas y esta responsabilidad compartida hacen dos cosas. Primero, construyen más confianza, y no menos, sobre la base de la capacidad y las limitaciones reales de la herramienta. Segundo, dejan espacio para que la persona aporte su propia información, refine el intercambio y sienta colaboración y control: una misión coconducida. Cuando algo se entrega con un exceso de confianza, lo que se obtiene es deferencia, y la deferencia pone fin a la conversación.

Brasil: También es una forma de gastar más tokens.

España: Sí. Ambas cosas pueden ser verdad. Esto me hace pensar: ¿cuál es el objetivo que queremos alcanzar aquí? ¿Podemos encontrar un equilibrio o elegir qué será coconducido y qué no? ¿O esto se convierte en una oportunidad para un modelo de negocio completamente nuevo?

Estas preguntas todavía no tienen respuesta, ni podemos afirmar con certeza que vayan a ser nuestra prioridad. Aun así, surgen a medida que nos concentramos y reaprendemos nuestros propios procesos. Quizás seguir encontrando las preguntas correctas sea exactamente donde debemos estar ahora. Mientras tanto, seguimos haciendo pruebas, mantenemos la curiosidad y damos forma a un framework centrado en las personas para diseñar experiencias de AI.

¿Cuándo te engañan tus propios datos?

Cuando miden aquello para lo que fueron creados, pero el producto ya ha evolucionado más allá de eso.

Una satisfacción del 93 % que ocultaba problemas

Un estudio sobre la experiencia digital de los colaboradores, en un proyecto importante con un cliente, mostró un 93 % de satisfacción con el service desk. Sin embargo, detrás de ese número había una percepción distinta de la herramienta. Se concentraba en el rendimiento de los dispositivos y en la dificultad para documentar el trabajo.

Una puntuación alta puede engañar si no intentamos comprender los matices que la produjeron. Tratada como una pregunta y no como una respuesta, abrió un programa de trabajo. Hemos observado esta tendencia en varios clientes. Como consultores, nos corresponde garantizar que las prácticas presentadas en esta serie puedan auditarse y respalden la narrativa más cercana a la realidad de los colaboradores.

Métricas que parecen un fracaso, pero no lo son

La misma brecha apareció en una plataforma que rediseñamos en torno a las expectativas y no a la usabilidad. Durante el primer mes, la adquisición de usuarios aumentó entre un 20 % y un 30 % en algunas regiones y alrededor de un 40 % en otras, frente al mes anterior. Al mismo tiempo, disminuyeron el número de páginas visitadas y el tiempo dedicado a ellas. Por otro lado, aumentaron las descargas y las acciones de finalización, y las sesiones de usuarios recurrentes crecieron significativamente.

En un dashboard convencional, la mitad de estos movimientos se interpretaría fácilmente como un fracaso. No obstante, todos apuntan en la misma dirección cuando preguntamos para qué sirve el producto y qué comportamiento queremos promover. En un producto cuya función es responder y devolver a la persona a su trabajo, permanecer en él es la señal de fracaso.

Una hipótesis de trabajo, no una conclusión

Tratamos esto como una hipótesis de trabajo y no como una conclusión. Esto se debe, sobre todo, a que todavía estamos formalizando cómo medir el comportamiento deseado y qué datos capturar para ponerlo a prueba. Además, otros tres lanzamientos competían por la atención en el mismo periodo, y no hubo una campaña formal. Un canal de la comunidad y una red de embajadores también estaban activos. Por lo tanto, estos factores pueden haber influido en el resultado, y no únicamente los rediseños.

¿Cómo cambia algo medible la forma en que habla un sistema?

Resulta que se convierte en una métrica de soporte.

El tono emocional como propiedad gobernada

En un gran cliente corporativo, definimos el tono emocional como una propiedad gobernada y mantenida en un hub de datos. Es decir, dejó de ser una decisión de copy tomada localmente por quien estuviera más cerca de la funcionalidad. Esto tuvo un impacto directo en la experiencia de los colaboradores y en la percepción de confiabilidad de las herramientas.

Junto con un trabajo cuidadoso en el entorno de chat y en su vocabulario afectivo, esto ayudó a mejorar el éxito del autoservicio. También redujo los contactos evitables con el soporte de IT. Estas son líneas de coste. Aun así, la relación entre la forma en que habla un sistema y la capacidad de una persona para resolver su propio problema no es intuitiva. La mayoría de las organizaciones de delivery trata el tono como un acabado que se aplica cuando la funcionalidad ya funciona.

Lo que el EU AI Act permite y prohíbe

Para ser precisos: diseñar cómo habla un sistema, con afectividad y un tono positivo, no implica inferir el estado emocional de un colaborador. Tampoco es un reflejo afectivo como el que entendemos en un diálogo entre dos personas. De hecho, ese tipo de inferencia está prohibido en los entornos de trabajo por el EU AI Act desde febrero de 2025 (European Union, 2024, Artículo 5(1)(f)). Ambas cosas se confunden con facilidad, pero solo una de ellas está permitida legalmente en este contexto.

Después de todo, ¿dónde deja esto a la disciplina?

En un lugar incómodo, y ese malestar es precisamente el punto.

Una plataforma de ventas creada con AI

Participamos en una consultoría para una plataforma de ventas de una gran organización, creada con herramientas de coding y diseño de Claude AI. El trabajo era bueno. Su desarrollador había capturado el journey de ventas con una complejidad que conocemos bien porque, aunque desarrollaba para el área, trabajaba principalmente en un entorno de ventas.

Lo que quedó fuera: espacio para cuestionar

Sin embargo, el diseño del journey dejó fuera un espacio para que el usuario respondiera. La interfaz es densa en funciones y herramientas del sistema y ofrece muy poco espacio para cuestionarlo. El propio objetivo lo revela: la herramienta fue creada para ayudar a optimizar, no para ayudar a validar.

Esta omisión era estructuralmente previsible. Al fin y al cabo, nadie suele solicitar un espacio para cuestionar el sistema. No aparece en las herramientas sobre las que los usuarios reciben formación y ocupa un espacio de interfaz que podría destinarse a otra función interesante. Nada en el proceso de producción la hace evidente. Solo se vuelve visible cuando alguien pregunta qué ocurre con el juicio de la persona. O cuando quien recibe el resultado analiza más allá de lo producido y percibe que “hay algo que no está bien”.

Esto plantea la pregunta que responde el próximo artículo: ¿qué parte específica de este trabajo exige juicio y qué valor único ofrece esta práctica que ninguna otra función ofrece?

Referencia

• European Union. (2024). Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). Official Journal of the European Union.