Un metaanálisis situó los nudges en d = 0,43. Corregido por sesgo de publicación, un reanálisis encontró 0,04

El 30 de diciembre de 2021, PNAS publicó un metaanálisis de la "arquitectura de la elección", la familia de intervenciones más conocida como nudges, firmado por Stephanie Mertens, Mario Herberz, Ulf Hahnel y Tobias Brosch, de la Universidad de Ginebra. Reunía más de 200 estudios aleatorizados e informaba de un efecto medio sobre la conducta de d de Cohen = 0,45, "de pequeño a mediano" según la convención. Las opciones por defecto eran la técnica más fuerte, la alimentación el ámbito más receptivo. La conclusión calificaba la arquitectura de la elección de "herramienta de cambio de conducta eficaz y ampliamente aplicable".

El 19 de julio de 2022, la misma revista publicó tres cartas que sostenían que el titular era el número equivocado, junto con una respuesta de los autores. Una llevaba un título que viajó mucho más lejos que sus tablas: "No evidence for nudging after adjusting for publication bias" (ninguna evidencia a favor del nudge tras ajustar por el sesgo de publicación).

Es un debate antiguo, y sigue abierto: un reanálisis publicado el 7 de septiembre de 2026 sostiene que una única media, de un lado o de otro, era el número equivocado con el que abrir. Vuelvo a él porque lanzo apps de iOS y un juego de estrategia, y cada opción por defecto y cada recordatorio que pongo en un producto es arquitectura de la elección en el sentido de este artículo. Si haces tests A/B de nudges, estos textos merecen leerse más allá de sus títulos.

Qué midió el metaanálisis

La búsqueda bibliográfica se cerró en junio de 2019. Para entrar, un estudio tenía que ser un experimento aleatorizado, medir conducta en una elección real o hipotética, usar individuos como unidad, estar publicado en inglés y probar la arquitectura de la elección por sí sola. Se excluyeron los estudios que combinaban técnicas o añadían incentivos o formación significativos. Seis ámbitos: salud, alimentación, medio ambiente, finanzas, conducta prosocial y "otros".

El 4 de mayo de 2022, PNAS publicó una corrección. La muestra incluía cuatro observaciones de un artículo de 2012 de Shu et al., retractado desde entonces, valores erróneos de dos observaciones de otro artículo y varios errores de codificación. Cifras corregidas: 447 tamaños de efecto de 212 publicaciones, 2.148.439 participantes, d = 0,43 (IC del 95 % de 0,38 a 0,48). Los autores escribieron que ninguno de los cambios afectaba al patrón de resultados ni a las conclusiones.

Tres detalles importan más que la media:

• La dispersión era enorme. Tras la corrección, I² era 99,52 % y el intervalo de predicción del 95 % iba de -0,36 a 1,22. El artículo estimaba que cerca del 15 % de las intervenciones probablemente tendrían el efecto contrario.
• La técnica importaba. Las opciones por defecto obtenían d = 0,62 sobre 128 tamaños de efecto, los recordatorios 0,29 y los compromisos 0,23. Por categorías, la "estructura de decisión" obtenía 0,54, frente a 0,34 de la información y 0,28 de la asistencia.
• Las publicaciones más recientes informaban de efectos menores que las antiguas.

Los propios autores señalaron el sesgo. En las cifras corregidas, la prueba de Egger detectó asimetría (b = 2,10), y su análisis de sensibilidad situaba el efecto en d = 0,31 con un sesgo de publicación moderado y en d = 0,08 con uno severo (0,03 antes de la corrección), un escenario que consideraron "solo parcialmente respaldado por el funnel plot".

Tres cartas y una respuesta

Maximilian Maier, František Bartoš, T. D. Stanley, David Shanks, Adam Harris y Eric-Jan Wagenmakers volvieron a analizar los datos corregidos con un metaanálisis bayesiano robusto (RoBMA), que promedia varios modelos de corrección del sesgo en lugar de elegir uno. Media ajustada: d = 0,04 (intervalo de credibilidad de 0,00 a 0,14), con un factor de Bayes BF01 de 0,95. Un factor de Bayes cercano a 1 significa que los datos son más o menos igual de probables sin efecto medio que con uno. El propio texto de la carta lo llama "una ausencia de evidencia" de un efecto global, que no es lo mismo que evidencia de ausencia.

El detalle es más nítido. Para los nudges de "información" y de "asistencia", la evidencia apuntaba contra un efecto medio (BF01 = 33,84 y 9,05). La "estructura", donde están las opciones por defecto, quedaba sin decidir (0,12, BF01 = 1,12). Usando solo la estimación más precisa de cada estudio, encontraron evidencia débil de un efecto global (0,11, BF01 = 0,31). Y todas las categorías y todos los ámbitos salvo las finanzas mostraban heterogeneidad, "lo que implica que algunos nudges podrían ser eficaces, incluso cuando hay evidencia contra el efecto medio".

Barnabas Szaszi y ocho coautores, entre ellos Andrew Gelman y Elizabeth Tipton, aplicaron otras tres correcciones a los mismos datos: Andrews-Kasy dio d = -0,01, WAAP 0,07, trim and fill 0,08. Su título es la versión del profesional: "No reason to expect large and consistent effects of nudge interventions" (ninguna razón para esperar efectos grandes y consistentes de los nudges). Admitieron "algunas excepciones", citando las opciones por defecto como ejemplo.

Jonathan Bakdash y Laura Marusich, del US Army Research Laboratory, representaron los efectos por ámbito y encontraron un "acantilado": en cuatro ámbitos, la distribución se corta en seco en cero o justo por debajo, y califican la supresión de resultados desfavorables de "mecanismo plausible" para explicarlo. Casi dos tercios de todos los efectos (62,64 %) quedaban por debajo de la media agregada.

Mertens y sus colegas respondieron que coincidían en que el sesgo de publicación era "problemático", que su artículo nunca pretendió ser "la última palabra", y que el campo necesita estudios con la potencia adecuada, informes preregistrados y resultados nulos publicados.

La cobertura lo comprimió todo. Titular de PsyPost el 27 de julio de 2022: "Re-analysis of meta-analysis reveals no evidence for nudging once accounting for publication bias". Después, el 7 de septiembre de 2026, Ulrich Schimmack sostuvo en su blog, Replicability-Index, que las medias cercanas a cero se derivan de suponer que los efectos se distribuyen normalmente, y que esos mismos modelos implican que los efectos en la dirección buscada promedian d = 0,44 (modelo de función escalonada) o 0,26 (RoBMA). Es una entrada de blog, no un artículo revisado por pares. La frase que me quedaría de ella: "No existe un único efecto del nudge."

Lo que nada de esto demuestra

No demuestra que los nudges no funcionen: el factor de Bayes principal queda sin decidir, y todas las cartas subrayaron una gran variación. Tampoco demuestra que funcionen a d = 0,43. Y dice poco directamente sobre tu embudo. No hay una estimación aparte para el comercio o el software, los estudios que combinaban técnicas se excluyeron por diseño mientras que una pantalla rediseñada suele cambiar varias cosas a la vez, y las elecciones hipotéticas contaban como conducta.

El número que llevaría a una reunión de planificación

Viene de otro artículo. En Econometrica, en enero de 2022, Stefano DellaVigna y Elizabeth Linos reunieron 126 ensayos que abarcaban 23 millones de personas, incluidos todos los ensayos de dos de las mayores Nudge Units de Estados Unidos, y los compararon con los ensayos de nudges publicados en revistas académicas. En las revistas, el nudge medio aumentaba la participación en 8,7 puntos porcentuales, un aumento del 33,4 %. En la muestra de las Nudge Units, en 1,4 puntos, un aumento del 8,0 %: aún muy significativo, y cerca de una sexta parte del efecto de las revistas en puntos porcentuales. Su modelo atribuye cerca del 70 % de la brecha a la publicación selectiva, agravada por la baja potencia estadística.

Ahora la aritmética. Toma un paso de registro que convierte al 10 %. Para detectar un aumento relativo del 33,4 % (del 10 % al 13,3 %) con una potencia del 80 % y un umbral bilateral del 5 %, necesitas unos 1.450 usuarios por variante. Para detectar el 8,0 % (del 10 % al 10,8 %), unos 22.850 por variante, dieciséis veces más. Un test dimensionado para el efecto publicado detectaría el efecto realista solo en torno al 11 % de las veces. Y cuando un test infradimensionado corona a un ganador, es más probable que haya captado una sobreestimación: el mecanismo que DellaVigna y Linos midieron en la literatura, funcionando dentro de tu propia empresa.

Qué haría antes de lanzar un nudge

1. Dimensiona el test para el efecto a escala, no para el publicado. Si tu tráfico no puede detectar un aumento del 8 %, el resultado honesto es "todavía no se puede probar", no "ganó".
2. Escribe la métrica, el tamaño de muestra y la regla de parada antes del lanzamiento. Es un preregistro con un solo lector.
3. Lleva un registro de todos los tests, con los nulos y los perdedores incluidos. Un panel que solo lista los ganadores lanzados es un cajón de archivos con mejor interfaz.
4. Prueba en bilateral y añade una métrica de seguridad, como reembolsos, abandono o tickets de soporte. El propio intervalo de predicción del metaanálisis baja de cero.
5. Con un solo hueco de test, prueba una opción por defecto antes que un recordatorio. En esta literatura, la estructura es la categoría que los críticos no derribaron, y la información y la asistencia son donde la evidencia se volvió contra un efecto medio. Una hipótesis, no una promesa.
6. Repite un ganador antes de apilar el siguiente nudge encima.

Lo útil de este debate no es un número para una diapositiva. Es el tamaño de la dispersión, y el recordatorio de que el único efecto que cuenta es el que mides con tus propios usuarios.

Fuentes

• PNAS, Mertens, Herberz, Hahnel y Brosch, "The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains" (30 de diciembre de 2021)
• PNAS, "Correction for Mertens et al., The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains" (4 de mayo de 2022)
• PNAS, Maier, Bartoš, Stanley, Shanks, Harris y Wagenmakers, "No evidence for nudging after adjusting for publication bias" (19 de julio de 2022)
• PNAS, Szaszi et al., "No reason to expect large and consistent effects of nudge interventions" (19 de julio de 2022)
• PNAS, Bakdash y Marusich, "Left-truncated effects and overestimated meta-analytic means" (19 de julio de 2022)
• PNAS, Mertens, Herberz, Hahnel y Brosch, "Reply to Maier et al., Szaszi et al., and Bakdash and Marusich: The present and future of choice architecture research" (19 de julio de 2022)
• Econometrica, DellaVigna y Linos, "RCTs to Scale: Comprehensive Evidence from Two Nudge Units" (enero de 2022)
• PsyPost, "Re-analysis of meta-analysis reveals no evidence for nudging once accounting for publication bias" (27 de julio de 2022)
• Replicability-Index, Ulrich Schimmack, "What is the Effect of Nudging? 43" (7 de septiembre de 2026)

Tamaños de muestra y potencia: cálculo del autor, test bilateral al 5 %, aproximación normal, n = 7,85 × [p1(1-p1) + p2(1-p2)] / (p2-p1)², que da 1.447 por variante para 10 % a 13,34 % y 22.852 para 10 % a 10,8 %; con 1.447 por variante, la potencia para detectar 10 % a 10,8 % es de cerca del 11 %.