Taille d'échantillon pour test A/B Shopify (Avec modèle gratuit)

Points clés

• La taille d’échantillon d’un A/B test Shopify est le nombre de visiteurs dont chaque variante a besoin avant que le résultat ne veuille dire quoi que ce soit. Déclarer un gagnant trop tôt revient à lire du bruit.
• Quatre facteurs la déterminent : votre taux de conversion de base, l’effet minimum détectable (MDE) que vous voulez capter, le seuil de significativité (généralement 95 %) et la puissance statistique (généralement 80 %).
• Un taux de conversion de base plus faible et un effet détectable plus petit font rapidement grimper l’échantillon requis. De petites modifications sur des boutiques à faible trafic peuvent nécessiter des dizaines de milliers de visiteurs par variante.
• Utilisez un calculateur gratuit comme celui d’Evan Miller pour obtenir ce nombre, puis planifiez le test sur des semaines complètes de trafic pour que les habitudes selon le jour de la semaine ne faussent pas les résultats.
• Fudge déploie votre variante de test sous forme de code natif du thème en quelques minutes. La partie lente devient donc l’acquisition de trafic, pas le développement.

La taille d’échantillon de votre A/B test Shopify est le seul chiffre qui décide si un test peut vous apprendre quelque chose. C’est le nombre de visiteurs que chaque version de la page doit accumuler avant que la différence entre elles ne soit réelle plutôt qu’aléatoire.

Si vous vous trompez, tout l’exercice n’est que du théâtre. Ce guide explique pourquoi la taille de l’échantillon est importante, les quatre variables qui la définissent, la formule et un exemple concret, un modèle de feuille de calcul que vous pouvez copier, et la réalité du faible trafic à laquelle se heurtent la plupart des boutiques Shopify.

Pourquoi vous pouvez nous faire confiance

Nous travaillons dans l’écosystème Shopify depuis plus de quatre ans et avons aidé des centaines de marques à améliorer leurs boutiques. Nous avons créé Fudge, un éditeur de boutique IA noté 5,0 sur le Shopify App Store. Nous opérons donc au niveau du code du thème, là où ces tests s’exécutent réellement, et nous voyons bien trop souvent des tests interrompus avant que les données ne le justifient.

Pourquoi la taille de l’échantillon est si importante

Un test A/B compare deux versions d’une page et mesure laquelle convertit le mieux. Le piège, c’est que la conversion fait du « bruit ». Lancez une pièce équilibrée 20 fois et vous obtiendrez rarement exactement dix fois pile. Les petits échantillons fluctuent beaucoup autour du taux réel.

La taille de l’échantillon est votre protection contre ce bruit. En dessous du seuil de significativité, une variante peut sembler gagnante de 15 % par pur hasard.

Il existe deux risques principaux quand on l’ignore.

Les tests sous-dimensionnés (underpowered). Si vous arrêtez avec trop peu de visiteurs, une véritable amélioration peut se cacher dans le bruit et ressembler à une « absence de différence ». Vous concluez que le changement n’a pas fonctionné, vous ne déployez rien, et vous passez à côté de l’augmentation de vos ventes.

Le “peeking” et l’arrêt prématuré. L’erreur la plus tentante est de vérifier le tableau de bord tous les jours et d’arrêter le test dès que la significativité passe au vert. Chaque vérification supplémentaire est une nouvelle occasion pour une variation aléatoire de franchir la ligne. Par conséquent, des vérifications répétées gonflent le taux réel de faux positifs bien au-delà des 5 % que vous croyez cibler.¹ La solution ? Fixer la taille de l’échantillon à l’avance et faire preuve de patience.

C’est la différence entre faire des tests au hasard et gérer un vrai programme de testing. Pour une vision plus globale, consultez notre guide sur l’optimisation des conversions Shopify.

Les 4 variables pour calculer la taille de l’échantillon

Tous les calculateurs demandent les quatre mêmes éléments. Comprenez-les et ce chiffre cessera d’être une boîte noire.

Le taux de conversion de base

C’est votre point de départ, tiré de vos propres données (analytics) pour la page et l’audience exactes que vous comptez tester. Une page produit testée sur du trafic mobile a une base de référence (baseline) différente de la même page sur ordinateur, vous devez donc l’adapter spécifiquement à votre test.

L’effet minimum détectable (MDE)

L’effet minimum détectable (MDE - Minimum Detectable Effect) est la plus petite amélioration qui vaille la peine d’être détectée, souvent exprimée en pourcentage relatif. Un MDE de 20 % sur une baseline de 3 % signifie que vous voulez repérer de façon fiable un passage à 3,6 %.

C’est la variable que les gens évaluent le plus mal. Un MDE plus faible signifie un test plus sensible, et la sensibilité coûte cher. Réduire de moitié l’effet que vous voulez détecter multiplie par quatre le nombre de visiteurs dont vous avez besoin.

Significativité et puissance

La significativité (95 %) définit à quel point vous voulez être sûr qu’une victoire détectée n’est pas le fruit du hasard. La puissance (80 %) définit la probabilité de détecter une victoire qui existe réellement. Ce sont des conventions, pas des lois, mais ce sont les valeurs par défaut standards et un point de départ raisonnable pour la plupart des boutiques.

La formule de taille d’échantillon et un exemple concret

Pour un test comparant deux taux de conversion, l’approximation standard du nombre de visiteurs nécessaires par variante est :

n = (z_alpha + z_beta)^2 x [ p1(1-p1) + p2(1-p2) ] / (p2 - p1)^2

où :
  p1        = taux de conversion de base
  p2        = baseline x (1 + MDE)
  z_alpha   = 1,96   (bilatéral, significativité de 95 %)
  z_beta    = 0,84   (puissance de 80 %)

Prenons un cas concret. Vous avez un taux de conversion de base de 3 %, et vous voulez détecter une augmentation relative de 20 %, à 95 % de significativité et 80 % de puissance.

• p1 = 0,03, donc p2 = 0,03 x 1,20 = 0,036
• (1,96 + 0,84)^2 = 2,8^2 = 7,84
• p1(1-p1) = 0,0291, et p2(1-p2) = 0,0347, ce qui donne une somme d’environ 0,0638
• (p2 - p1)^2 = 0,006^2 = 0,000036

En combinant tout cela, on obtient 7,84 x 0,0638 / 0,000036, soit environ 13 900 visiteurs par variante, ou grossièrement 27 800 au total.

C’est le nombre que vous renvoie le calculateur. L’intérêt de le faire à la main au moins une fois, c’est de comprendre exactement ce qui fait varier le résultat.

Comment la baseline et le MDE modifient le calcul

Les deux principaux moteurs sont votre taux de conversion de base et l’effet que vous souhaitez capter. Les deux peuvent rapidement faire exploser la taille de l’échantillon. Le tableau ci-dessous applique la même formule à 95 % de significativité et 80 % de puissance sur plusieurs scénarios.

Deux tendances se dégagent de ces calculs.

Les effets plus petits coûtent beaucoup plus cher. Faire passer le MDE de 20 % à 10 % sur une base de 3 % fait passer le besoin d’environ 13 900 à 53 100 visiteurs par variante. Courir après une amélioration infime est le moyen le plus rapide de concevoir un test que vous ne pourrez jamais terminer.

Un taux de base plus faible est punitif. À 1 % de base, même une augmentation de 20 % nécessite environ 42 600 visiteurs par variante, soit trois fois plus que pour une base à 3 %, car les événements rares comportent plus de bruit relatif.

La dernière colonne traduit le nombre en temps calendaire. Elle part du principe de 4 000 visiteurs éligibles au test par semaine, répartis sur les deux variantes, arrondi à la semaine supérieure. C’est dans cette colonne que la plupart des plans de test Shopify se heurtent à la réalité.

Créez votre propre modèle de calcul

Vous n’avez pas besoin d’un outil complexe pour planifier tout ça. Un simple tableur avec la formule ci-dessus fait l’affaire et vous permet de vérifier la cohérence de n’importe quel calculateur.

Configurez ces cellules :

• CVR de base (entrée) : votre taux actuel, par exemple 0,03
• MDE (entrée) : l’augmentation relative espérée, par exemple 0,20
• p2 (calculé) : baseline * (1 + MDE)
• z_alpha (constante) : 1,96 pour 95 % bilatéral
• z_beta (constante) : 0,84 pour une puissance de 80 %
• n par variante (calculé) : (z_alpha + z_beta)^2 * (p1*(1-p1) + p2*(1-p2)) / (p2 - p1)^2

Ajoutez ensuite une entrée pour le trafic hebdomadaire et une cellule pour la durée qui divise 2 * n par le nombre de vos visiteurs hebdomadaires éligibles au test. Vous pouvez maintenant modifier le MDE et voir la durée d’exécution évoluer avant de vous lancer dans un test.

Gardez une deuxième feuille listant chaque test : l’hypothèse, la page, les dates de début et de fin, la taille d’échantillon prévue, et le résultat. Ce journal de bord (log) vous évite de retester des choses déjà prouvées et rend votre programme auditable. Cela va naturellement de pair avec un plan CRO Shopify plus large.

Les calculateurs de tests A/B gratuits qui valent le coup

Si vous préférez ne pas maintenir de tableur, deux outils gratuits très connus font exactement le même travail.

Le calculateur d’Evan Miller (Sample Size Calculator) prend votre taux de base et votre MDE et vous donne l’échantillon par variante, en utilisant les mêmes données de significativité et de puissance.² C’est une référence de longue date dans la communauté du testing et un bon moyen de vérifier votre propre feuille de calcul.

Le calculateur d’Optimizely est une autre excellente option gratuite via navigateur qui demande les mêmes entrées et renvoie un nombre par variante. N’importe lequel de ces outils aboutira à des chiffres proches de ceux du tableau ci-dessus avec les mêmes hypothèses.

Peu importe celui que vous utilisez, donnez-lui votre vraie baseline et un MDE réaliste. Un calculateur alimenté avec des chiffres optimistes renverra un objectif optimiste, et la plupart du temps, inatteignable.

La réalité du manque de trafic sur Shopify

Voici la dure réalité pour les petites boutiques. Le tableau de scénarios montre que détecter une amélioration modeste sur un taux de conversion classique peut nécessiter des dizaines de milliers de visiteurs par variante. Beaucoup de boutiques Shopify n’atteignent pas ce trafic dans un laps de temps raisonnable.

Cela ne veut pas dire que faire des tests ne sert à rien. Cela signifie qu’il faut tester intelligemment.

• Testez des changements plus marqués. Une refonte complète de page ou une nouvelle offre feront bien plus bouger les lignes qu’un simple changement de couleur de bouton. Cela demandera donc un plus petit échantillon pour être détecté. Gardez les tests hyper-spécifiques pour les boutiques à fort trafic.
• Testez les pages avec le plus de trafic. Lancez vos tests sur les pages générant le plus de sessions, comme la page d’accueil, la collection principale ou la page produit phare, plutôt que sur un petit recoin de votre site peu visité.
• Faites des cycles de semaines complètes. Effectuez toujours vos tests sur des semaines entières (du lundi au dimanche). Les acheteurs de week-end et de semaine se comportent différemment. Un test qui commence un lundi et finit un jeudi intégrera naturellement ce biais.
• Acceptez de faire moins de tests, mais plus longs. Une boutique à faible trafic qui lance un test propre de quatre semaines s’en tirera toujours mieux qu’une autre qui en lance cinq mais les arrête prématurément (sous-dimensionnés).
• Appuyez-vous aussi sur des signaux qualitatifs. Les cartes de chaleur (heatmaps), les enregistrements de sessions et les sondages n’ont pas besoin de puissance statistique et peuvent vous orienter vers de gros changements qui justifient un test A/B.

Pour découvrir des outils adaptés au budget d’une boutique Shopify, consultez notre sélection des meilleures applications Shopify pour le CRO.

La place de Fudge dans tout ça

La taille de l’échantillon détermine la durée d’exécution d’un test. L’autre moitié de l’équation, c’est le temps nécessaire pour créer la variante en elle-même, et c’est là que la plupart des tests calent avant même de commencer.

Fudge est un éditeur de boutique IA qui écrit du code de thème natif. Vous décrivez la variante que vous voulez tester (une nouvelle disposition de page produit, un bandeau d’accueil différent, une offre restructurée…), et il écrit le code Liquid, CSS et JavaScript directement dans votre thème. Pas besoin d’attendre un développeur, et pas de widget lourd.

Comme le résultat est du vrai code de thème, la variante se comporte comme le reste de votre boutique pendant le test, sans script tiers qui ralentit la page et fausse les résultats. Vous pouvez générer rapidement la nouvelle version (le challenger), y brancher votre outil de test, et concentrer vos efforts sur la partie qui prend vraiment du temps : attendre d’avoir un échantillon suffisant. Cela vaut pour tout ce que vous créez avec notre éditeur de boutique Shopify.

FAQ