Une méta-analyse place les nudges à d = 0,43. Corrigée du biais de publication, une réanalyse trouve 0,04

Le 30 décembre 2021, PNAS a publié une méta-analyse de « l'architecture du choix », la famille d'interventions plus connue sous le nom de nudges, signée Stephanie Mertens, Mario Herberz, Ulf Hahnel et Tobias Brosch, de l'Université de Genève. Elle agrège plus de 200 études randomisées et rapporte un effet moyen sur le comportement de d de Cohen = 0,45, « petit à moyen » selon la convention. Les options par défaut sont la technique la plus forte, l'alimentation le domaine le plus réactif. La conclusion qualifie l'architecture du choix d'« outil de changement de comportement efficace et largement applicable ».

Le 19 juillet 2022, la même revue a publié trois lettres soutenant que le chiffre en une était le mauvais, avec une réponse des auteurs. L'une portait un titre qui a voyagé bien plus loin que ses tableaux : « No evidence for nudging after adjusting for publication bias » (aucune preuve en faveur du nudge après correction du biais de publication).

Le débat est ancien, et il n'est pas clos : une réanalyse publiée le 7 septembre 2026 soutient qu'une moyenne unique, d'un côté comme de l'autre, était le mauvais chiffre à mettre en avant. J'y reviens parce que je livre des apps iOS et un jeu de stratégie, et que chaque option par défaut et chaque rappel que je mets dans un produit relève de l'architecture du choix au sens de cet article. Si tu fais des tests A/B de nudges, ces textes méritent d'être lus au-delà de leurs titres.

Ce que la méta-analyse a mesuré

La recherche bibliographique s'est arrêtée en juin 2019. Pour entrer, une étude devait être une expérience randomisée, mesurer un comportement dans un choix réel ou hypothétique, prendre les individus comme unité, être publiée en anglais et tester l'architecture du choix seule. Les études qui combinaient plusieurs techniques, ou ajoutaient des incitations ou de la formation significatives, étaient exclues. Six domaines : santé, alimentation, environnement, finance, comportement prosocial et « autres ».

Le 4 mai 2022, PNAS a publié un erratum. L'échantillon comprenait quatre observations tirées d'un article de 2012 de Shu et al., depuis rétracté, des valeurs erronées pour deux observations d'un autre article, et plusieurs erreurs de codage. Chiffres corrigés : 447 tailles d'effet issues de 212 publications, 2 148 439 participants, d = 0,43 (IC à 95 % de 0,38 à 0,48). Les auteurs écrivent qu'aucun de ces changements n'affecte le schéma des résultats ni les conclusions.

Trois détails comptent plus que la moyenne :

• La dispersion était énorme. Après correction, I² valait 99,52 % et l'intervalle de prédiction à 95 % allait de -0,36 à 1,22. L'article estimait qu'environ 15 % des interventions risquaient de produire l'effet inverse.
• La technique comptait. Les options par défaut obtenaient d = 0,62 sur 128 tailles d'effet, les rappels 0,29, les engagements 0,23. Par catégories, la « structure de décision » obtenait 0,54, contre 0,34 pour l'information et 0,28 pour l'assistance.
• Les publications récentes rapportaient des effets plus petits que les anciennes.

Les auteurs ont signalé eux-mêmes le biais. Dans les chiffres corrigés, le test d'Egger détecte une asymétrie (b = 2,10), et leur analyse de sensibilité place l'effet à d = 0,31 sous un biais de publication modéré et à d = 0,08 sous un biais sévère (0,03 avant l'erratum), un scénario qu'ils jugent « seulement partiellement soutenu par le funnel plot ».

Trois lettres et une réponse

Maximilian Maier, František Bartoš, T. D. Stanley, David Shanks, Adam Harris et Eric-Jan Wagenmakers ont refait tourner les données corrigées avec une méta-analyse bayésienne robuste (RoBMA), qui fait la moyenne de plusieurs modèles de correction du biais au lieu d'en choisir un. Moyenne ajustée : d = 0,04 (intervalle de crédibilité de 0,00 à 0,14), avec un facteur de Bayes BF01 de 0,95. Un facteur de Bayes proche de 1 signifie que les données sont à peu près aussi probables sans effet moyen qu'avec un. Le texte de la lettre parle lui-même d'« une absence de preuve » d'un effet global, ce qui n'est pas la même chose qu'une preuve d'absence.

Le détail est plus net. Pour les nudges d'« information » et d'« assistance », les preuves allaient contre un effet moyen (BF01 = 33,84 et 9,05). La « structure », où se trouvent les options par défaut, restait indécise (0,12, BF01 = 1,12). En ne gardant que l'estimation la plus précise de chaque étude, ils trouvent une faible preuve d'un effet global (0,11, BF01 = 0,31). Et toutes les catégories et tous les domaines sauf la finance montraient de l'hétérogénéité, « ce qui implique que certains nudges pourraient être efficaces, même quand les preuves vont contre l'effet moyen ».

Barnabas Szaszi et huit coauteurs, dont Andrew Gelman et Elizabeth Tipton, ont appliqué trois autres corrections aux mêmes données : Andrews-Kasy donne d = -0,01, WAAP 0,07, trim and fill 0,08. Leur titre est la version du praticien : « No reason to expect large and consistent effects of nudge interventions » (aucune raison d'attendre des effets importants et constants des nudges). Ils admettent « quelques exceptions », citant les options par défaut en exemple.

Jonathan Bakdash et Laura Marusich, du US Army Research Laboratory, ont tracé les effets par domaine et trouvé une « falaise » : dans quatre domaines, la distribution s'arrête net à zéro ou juste en dessous, et ils qualifient la suppression des résultats défavorables de « mécanisme plausible » pour l'expliquer. Près des deux tiers des effets (62,64 %) se situaient sous la moyenne agrégée.

Mertens et ses collègues ont répondu qu'ils s'accordaient à juger le biais de publication « problématique », que leur article n'a jamais prétendu être « le dernier mot », et que le domaine a besoin d'études correctement dimensionnées, de rapports préenregistrés et de résultats nuls publiés.

La couverture médiatique a tout compressé. Titre de PsyPost le 27 juillet 2022 : « Re-analysis of meta-analysis reveals no evidence for nudging once accounting for publication bias ». Puis, le 7 septembre 2026, Ulrich Schimmack a soutenu sur son blog, Replicability-Index, que les moyennes proches de zéro découlent de l'hypothèse d'effets normalement distribués, et que les mêmes modèles impliquent que les effets dans le sens voulu valent en moyenne d = 0,44 (modèle en fonction en escalier) ou 0,26 (RoBMA). C'est un billet de blog, pas un article évalué par des pairs. La phrase que je garderais : « Il n'existe pas d'effet unique du nudge. »

Ce que rien de tout cela ne montre

Cela ne montre pas que les nudges ne marchent pas : le facteur de Bayes principal est indécis, et chaque lettre a souligné une forte variation. Cela ne montre pas non plus qu'ils marchent à d = 0,43. Et cela dit peu de choses directement sur ton tunnel. Il n'y a pas d'estimation séparée pour le commerce ou le logiciel, les études combinant plusieurs techniques étaient exclues par construction alors qu'un écran refondu change souvent plusieurs choses à la fois, et les choix hypothétiques comptaient comme comportement.

Le chiffre que j'apporterais en réunion de planification

Il vient d'un autre article. Dans Econometrica, en janvier 2022, Stefano DellaVigna et Elizabeth Linos ont rassemblé 126 essais couvrant 23 millions de personnes, dont tous les essais menés par deux des plus grandes Nudge Units des États-Unis, et les ont comparés aux essais de nudges publiés dans des revues académiques. Dans les revues, le nudge moyen augmentait le taux de participation de 8,7 points de pourcentage, soit une hausse de 33,4 %. Dans l'échantillon des Nudge Units, de 1,4 point, soit une hausse de 8,0 % : toujours très significatif, et environ un sixième de l'effet des revues en points de pourcentage. Leur modèle attribue environ 70 % de l'écart à la publication sélective, aggravée par une faible puissance statistique.

Passons à l'arithmétique. Prends une étape d'inscription qui convertit à 10 %. Pour détecter une hausse relative de 33,4 % (de 10 % à 13,3 %) avec une puissance de 80 % et un seuil bilatéral de 5 %, il faut environ 1 450 utilisateurs par variante. Pour détecter 8,0 % (de 10 % à 10,8 %), environ 22 850 par variante, seize fois plus. Un test dimensionné pour l'effet publié ne détecterait l'effet réaliste que dans environ 11 % des cas. Et quand un test sous-dimensionné couronne un gagnant, il a plus de chances d'avoir capté une surestimation : le mécanisme que DellaVigna et Linos ont mesuré dans la littérature, à l'œuvre dans ta propre entreprise.

Ce que je ferais avant de livrer un nudge

1. Dimensionne le test pour l'effet à l'échelle, pas pour l'effet publié. Si ton trafic ne peut pas détecter une hausse de 8 %, le résultat honnête est « pas encore testable », pas « il a gagné ».
2. Écris la métrique, la taille d'échantillon et la règle d'arrêt avant le lancement. C'est un préenregistrement avec un seul lecteur.
3. Tiens un journal de tous les tests, nuls et perdants compris. Un tableau de bord qui n'affiche que les gagnants livrés est un tiroir à dossiers avec une plus jolie interface.
4. Teste en bilatéral et ajoute une métrique garde-fou, comme les remboursements, le churn ou les tickets de support. L'intervalle de prédiction de la méta-analyse descend lui-même sous zéro.
5. Avec un seul créneau de test, essaie une option par défaut avant un rappel. Dans cette littérature, la structure est la catégorie que les critiques n'ont pas abattue, et l'information et l'assistance sont celles où les preuves se sont retournées contre un effet moyen. Une hypothèse, pas une promesse.
6. Relance un gagnant avant d'empiler le nudge suivant par-dessus.

Ce que ce débat donne d'utile n'est pas un chiffre pour une diapo. C'est l'ampleur de la dispersion, et le rappel que le seul effet qui compte est celui que tu mesures sur tes propres utilisateurs.

Sources

• PNAS, Mertens, Herberz, Hahnel et Brosch, « The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains » (30 décembre 2021)
• PNAS, « Correction for Mertens et al., The effectiveness of nudging: A meta-analysis of choice architecture interventions across behavioral domains » (4 mai 2022)
• PNAS, Maier, Bartoš, Stanley, Shanks, Harris et Wagenmakers, « No evidence for nudging after adjusting for publication bias » (19 juillet 2022)
• PNAS, Szaszi et al., « No reason to expect large and consistent effects of nudge interventions » (19 juillet 2022)
• PNAS, Bakdash et Marusich, « Left-truncated effects and overestimated meta-analytic means » (19 juillet 2022)
• PNAS, Mertens, Herberz, Hahnel et Brosch, « Reply to Maier et al., Szaszi et al., and Bakdash and Marusich: The present and future of choice architecture research » (19 juillet 2022)
• Econometrica, DellaVigna et Linos, « RCTs to Scale: Comprehensive Evidence from Two Nudge Units » (janvier 2022)
• PsyPost, « Re-analysis of meta-analysis reveals no evidence for nudging once accounting for publication bias » (27 juillet 2022)
• Replicability-Index, Ulrich Schimmack, « What is the Effect of Nudging? 43 » (7 septembre 2026)

Tailles d'échantillon et puissance : calcul de l'auteur, test bilatéral à 5 %, approximation normale, n = 7,85 × [p1(1-p1) + p2(1-p2)] / (p2-p1)², soit 1 447 par variante pour 10 % vers 13,34 % et 22 852 pour 10 % vers 10,8 % ; à 1 447 par variante, la puissance pour détecter 10 % vers 10,8 % est d'environ 11 %.