120 encuestados de IA llegaron a la misma conclusión que 604 humanos. Ninguna de las respuestas raras apareció.

El 16 de octubre, Nielsen Norman Group publicó un breve estudio de Rachel Banawa cuyo título adelanta el resultado: "Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation" (usuarios sintéticos contra encuestados humanos: misma conclusión, menos variación).

El montaje es sencillo. En una encuesta realizada en abril de 2026, NN/g pidió a 604 profesionales de tecnología y diseño que leyeran la descripción de un trabajo en una frase ("An individual gathers insights about people's needs and experiences and turns those insights into recommendations for how a product or service should be planned, built, and improved") y que nombraran el único campo que describe. En febrero de 2026, el equipo hizo la misma pregunta a 120 encuestados sintéticos generados en Synthetic Users, una plataforma comercial que simula participantes de investigación. Después comparó los dos conjuntos de datos.

Ambos dicen lo mismo: "UX" sigue siendo el nombre dominante de este trabajo. Lo que el panel sintético no reprodujo es todo lo que rodea esa respuesta.

Construyo productos con modelos de lenguaje todos los días y conozco la tentación a la que responde este estudio. Para un producto como BidForge, la herramienta que construí para leer los expedientes de licitaciones públicas francesas para pequeñas empresas, el atajo barato es evidente: pedirle a un modelo que interprete a veinte dueños de pequeños negocios y entrevistarlos. Así que leí el método antes que la conclusión.

Lo que el panel sintético acertó

El hallazgo principal sobrevivió. El 84 % de los encuestados sintéticos usó términos relacionados con UX, frente a cerca del 70 % de los humanos. NN/g indica que la diferencia de 14 puntos es estadísticamente significativa, pero no cambia la conclusión práctica del estudio original: ninguna otra etiqueta ha desplazado a "UX".

El puesto de trabajo siguió moldeando el vocabulario. Entre los profesionales sintéticos de customer insights, el 45 % usó la palabra "customer"; ninguno de los profesionales sintéticos de UX lo hizo. El 30 % de los investigadores de mercado sintéticos dijo "market", de nuevo frente al 0 % de los profesionales sintéticos de UX. NN/g indica que ambas diferencias son estadísticamente significativas.

Si tu pregunta es "¿qué diría la mayoría de la gente de este grupo?", el panel la respondió.

Lo que se le escapó: la cola larga

Los humanos usaron más de 50 etiquetas distintas, entre ellas "consumer-behavior research", "digital-experience strategy", "journey management" y "human-factors engineering". La mayoría apareció una sola vez o unas pocas. Los encuestados sintéticos produjeron 12 etiquetas en total: seis relacionadas con UX y seis más (customer experience, customer insights, data science, market research, product management, service design). Ninguno de los términos inusuales o especializados de los datos humanos apareció, como "digital management" o "business analysis". Tampoco "human factors", "experience design" ni "consumer research", que sí contienen las respuestas humanas.

NN/g lo llama colapso de modo (mode collapse): datos sintéticos que reproducen la respuesta más común y descartan la cola larga de las menos comunes.

Un detalle lo refuerza. La plataforma simula entrevistas, así que los encuestados sintéticos dieron respuestas más largas que los humanos que rellenan una encuesta. Más palabras, más oportunidades de nombrar una alternativa. Aun así nombraron menos.

Una cautela sobre esa cifra, sin embargo. El número de etiquetas distintas crece con el tamaño de la muestra, y 120 no es 604. El artículo no dice cuántas etiquetas habría producido una selección aleatoria de 120 humanos. Por eso no me apoyaría solo en "12 contra más de 50". La prueba más sólida está en otra parte.

Diseñado para ser más diverso, volvió más uniforme

La muestra humana de NN/g se reclutó en parte por sus propios canales, incluido su Practitioner Panel, y el 67 % eran profesionales de UX. El informe de julio sobre la encuesta original ya advertía que eso podía exagerar lo común que es "UX". La muestra sintética se configuró con cuotas por puesto, a propósito: solo el 20 % eran profesionales de UX.

Cabría esperar que una muestra con menos de un tercio de la proporción de UX usara menos el vocabulario de UX. Lo usó más.

Los product managers lo muestran mejor. El 93 % de los product managers sintéticos usó términos relacionados con UX, frente al 44 % de los product managers humanos. En julio, NN/g había informado de que el 38 % de los product managers humanos usó la palabra "product", frente al 10 % de los profesionales de UX. El propio gráfico de NN/g muestra la misma atracción en todo el panel: el 3,3 % de los encuestados sintéticos usó "product", frente al 12,4 % de los humanos, aunque el panel sintético tenía muchos menos profesionales de UX.

Pon las dos páginas de NN/g una al lado de la otra y el efecto tampoco es un simple aplanamiento. En julio, el 18 % de los profesionales humanos de customer insights usó "customer". En el panel sintético lo hizo el 45 %. Esa comparación es mía, no de NN/g, y ninguno de los dos artículos da el tamaño de los subgrupos. Pero sugiere que el panel puede amplificar la pista evidente, la palabra del título del puesto, para un grupo mientras reduce una diferencia real para otro. Sin datos humanos al lado, no se puede saber en qué sentido ocurrió.

Lo que el estudio no demuestra

Es una sola pregunta abierta, en una sola plataforma, con respuestas sintéticas obtenidas en febrero de 2026. El artículo no nombra el modelo detrás de la plataforma (el proveedor describe una función que alterna entre varios grandes modelos de lenguaje), y productos como este cambian rápido. La "verdad de referencia" humana es en sí misma una muestra sesgada. Dos aspectos de la plataforma escapaban al control de NN/g, que los señala como posibles factores de confusión: el formato de entrevista, y que la plataforma a veces reformula la pregunta ("people's needs, behaviors, and experiences" en lugar de "people's needs and experiences"). NN/g dice que no puede determinar exactamente por qué los encuestados sintéticos se inclinaron tanto hacia los términos de UX; remite a investigaciones anteriores que encuentran que las respuestas sintéticas se agrupan en torno a respuestas comunes o esperadas.

Así que esto no prueba que los encuestados sintéticos fallen en todo, ni que otra herramienta u otro prompt fallaría igual. Es coherente con la revisión de tres estudios que NN/g publicó en agosto de 2025, que concluía que los usuarios sintéticos "may capture trends in human behavior but not the magnitude of the effects or the variability in the human data" (pueden captar tendencias del comportamiento humano, pero no la magnitud de los efectos ni la variabilidad de los datos humanos). NN/g también advierte contra la solución obvia: pedirle a un modelo respuestas más diversas produce variedad, no necesariamente la variedad que tienen las personas reales, con las frecuencias con que la tienen.

Las preguntas frecuentes del proveedor coinciden

Esta parte no está en el estudio. En su sitio, leído el 19 de octubre, Synthetic Users se describe como "a discovery co-pilot" y afirma: "Real user research stays essential for validation and edge-case work" (la investigación real con usuarios sigue siendo esencial para la validación y los casos límite). Los casos límite son la cola larga. En ese punto, el proveedor y el estudio dicen lo mismo.

Otras dos líneas merecen una segunda lectura. El sitio dice que, en sus estudios comparativos independientes, "parity sits between 85% and 92% depending on audience type, measured across thematic overlap, depth, and qualitative alignment" (la paridad se sitúa entre el 85 % y el 92 % según el tipo de audiencia, medida en solapamiento temático, profundidad y alineación cualitativa). En el estudio de NN/g, el solapamiento era real: mismo tema dominante. Lo que faltó fue la cola, y una puntuación construida sobre el solapamiento temático puede seguir alta con la cola desaparecida. Las preguntas frecuentes dicen también que de 10 a 12 participantes bien definidos "typically reach saturation" (suelen alcanzar la saturación), con una puntuación que muestra "when new participants stop adding novel themes" (cuándo los nuevos participantes dejan de añadir temas nuevos). Con un generador que converge en una docena de etiquetas, una meseta temprana puede decir más del generador que de tu mercado. Los planes parten de 12.500 $ al año.

Qué haría con esto

Verifico mis propias publicaciones con un modelo, Jev, usado como juez. Es un trabajo acotado: un veredicto sobre una afirmación, frente a una fuente que puedo abrir. Un encuestado sintético hace el trabajo contrario. Inventa lo que diría una persona, sin nada contra lo que comprobarlo. Pondría el listón en consecuencia.

Antes de una ronda de entrevistas, usaría un panel sintético para redactar la guía de entrevista, listar las objeciones obvias y detectar redacciones confusas. Eso encaja con el uso que NN/g deja abierto: generar hipótesis y comprobar patrones amplios.

No lo usaría para dimensionar un nicho, comparar dos segmentos o encontrar al early adopter cuya formulación extraña resulta ser el producto. Eso es la cola y los subgrupos, justo lo que aquí se perdió.

En una ronda real de entrevistas, contaría las respuestas distintas, no solo la más frecuente, y guardaría en su propia columna las que aparecen una sola vez. De ahí sale la siguiente pregunta.

Y si una decisión importante dependiera de un panel sintético, haría la misma pregunta a una muestra humana, aunque fuera pequeña, antes de fiarme de cualquier diferencia entre grupos. NN/g lo dice sin rodeos: la investigación con usuarios sintéticos "is still not user research, because no actual users are being studied" (sigue sin ser investigación de usuarios, porque no se estudia a ningún usuario real).

Un panel sintético puede decirte lo que diría la mayoría. El cliente que buscas suele ser el que dice otra cosa.

Fuentes

• Nielsen Norman Group, "Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation" (16 de octubre de 2026, texto y gráficos)
• Nielsen Norman Group, "No New Name Has Replaced 'UX'" (31 de julio de 2026)
• Nielsen Norman Group, "Evaluating AI-Simulated Behavior: Insights from Three Studies on Digital Twins and Synthetic Users" (15 de agosto de 2025)
• Synthetic Users, página de inicio y preguntas frecuentes (consultadas el 19 de octubre de 2026)
• Synthetic Users, "Pricing" (consultado el 19 de octubre de 2026)
• Synthetic Users, "Science" (consultado el 19 de octubre de 2026)