Points clés
- Le test de conversion est du CRO avec des statistiques intégrées - vous ne vous contentez pas de modifier une page, vous mesurez si le changement a causé une réelle différence.
- Tout test valide est défini avant son lancement par quatre variables : la significativité, la puissance, l’effet minimum détectable (MDE) et votre taux de conversion de base.
- Les mathématiques sont impitoyables pour les petites boutiques : avec un taux de base de 2 %, détecter une hausse de 10 % nécessite environ 80 000 visiteurs par variante. Diviser par deux l’effet visé quadruple presque l’échantillon nécessaire.
- L’erreur la plus fréquente est le peeking - arrêter un test dès qu’il semble significatif. Cela peut pousser votre taux de faux positifs réel au-delà de 25 %.
- L’outil de test natif de Shopify (Rollouts) peut tester des mises en page mais pas les prix, ne rapporte aucune significativité statistique, et réserve les fonctionnalités d’expérimentation aux forfaits supérieurs.
Ceci est un guide pilier sur les tests de conversion sur Shopify. Il va plus loin qu’un simple aperçu du CRO en explorant la mécanique qui détermine si le résultat d’un test est réel : la taille de l’échantillon, la significativité statistique, la durée du test, et le problème particulier que rencontrent les boutiques sans grand trafic.
Si vous voulez une vue d’ensemble de ce qu’il faut changer en premier sur votre boutique, commencez par notre guide du CRO sur Shopify et revenez ici lorsque vous serez prêt à tester ces changements dans les règles de l’art.
Pourquoi vous pouvez nous faire confiance
Nous avons passé plus de quatre ans dans l’écosystème Shopify et construit Fudge, un constructeur de pages IA utilisé par des centaines d’e-commerçants pour publier et itérer sur les pages de leurs boutiques. Nous avons vu beaucoup de boutiques mener de nombreux tests, et la cause d’échec est presque toujours la même : déclarer un gagnant à partir de données qui ne l’ont jamais justifié. Ce guide est rédigé pour éviter cela.
Ce qu’est réellement le test de conversion
Le test de conversion est la pratique consistant à modifier un élément sur votre boutique, à montrer ce changement à une moitié aléatoire de vos visiteurs, et à utiliser les statistiques pour déterminer si cela a causé une différence réelle du taux de conversion. Les statistiques sont l’essentiel. Sans elles, vous vous contentez de regarder deux chiffres et de deviner.
Cette distinction sépare les tests de conversion de l’optimisation générale du taux de conversion. Le CRO est la discipline globale d’amélioration de votre boutique. Les tests de conversion sont la méthode de mesure qui vous indique quelles améliorations ont réellement fonctionné.
Un test A/B répartit le trafic entre un contrôle (A) et une variante (B). Les tests A/B/n ajoutent plus de variantes. Les tests multivariés changent plusieurs éléments à la fois. Pour la plupart des boutiques Shopify, un simple test A/B à deux voies est le bon outil, car davantage de variantes divisent encore plus votre trafic et rendent la significativité plus difficile à atteindre.
L’anatomie d’un test valide
Un test digne de confiance est défini avant même de commencer. Décidez de ces cinq éléments à l’avance :
- L’hypothèse - une affirmation spécifique et réfutable. “Déplacer les avis au-dessus de la ligne de flottaison va augmenter le taux d’ajout au panier”, et non “essayons de faire des changements”.
- La métrique principale - la métrique unique qui détermine le succès du test. Généralement le taux de conversion ou le revenu par visiteur.
- L’effet minimum détectable (MDE) - la plus petite amélioration à laquelle il vaut la peine de s’intéresser.
- La taille de l’échantillon - le nombre de visiteurs par variante dont vous avez besoin, calculé à partir des variables ci-dessous.
- La durée - le temps qu’il faudra pour collecter cet échantillon, arrondi à des semaines complètes.
Fixer la taille de l’échantillon et la durée à l’avance est ce qui vous empêche de vous leurrer vous-même plus tard.
Les quatre variables de tout calcul de taille d’échantillon
Chaque nombre pour la taille d’échantillon découle de quatre valeurs.1
La significativité statistique (α). Le risque que vous acceptez de déclarer un gagnant qui n’est en fait que du bruit. La convention est de 5 %, c’est ce que signifie “95 % de confiance”. Un faux positif ici est un changement que vous déployez et qui ne sert à rien.
La puissance statistique (1−β). Les chances que votre test détecte un effet réel qui existe. La convention est de 80 %, ce qui signifie qu’un vrai gagnant de la taille visée est repéré 80 % du temps.2 Une puissance plus faible signifie que de vraies victoires passent inaperçues.
L’effet minimum détectable (MDE). La plus petite hausse que vous voulez pouvoir repérer. C’est la variable sur laquelle les e-commerçants se trompent le plus souvent. Un MDE plus petit semble mieux, mais fait exploser votre besoin en échantillon.
Le taux de conversion de base. Votre taux de conversion actuel pour la métrique. Des taux de base plus bas nécessitent des échantillons plus importants, car chaque conversion est un événement plus rare et bruyant.
Les mathématiques : pourquoi de petits effets nécessitent d’énormes échantillons
Voici la relation qui régit tout : la taille d’échantillon requise est inversement proportionnelle au carré de l’effet que vous souhaitez détecter. Divisez votre MDE par deux et vous multiplierez à peu près par quatre le nombre de visiteurs dont vous avez besoin.3
Un exemple concret permet de mieux comprendre. Supposons que votre boutique convertisse à 2 % et que vous souhaitiez détecter une augmentation relative de 10 % - en passant de 2 % à 2,2 % - avec un niveau de confiance de 95 % et une puissance de 80 %. En utilisant la formule standard des deux proportions :1
Vous avez besoin d’environ 80 000 visiteurs par variation, soit près de 160 000 au total, pour conclure ce test.
Assouplissons maintenant l’objectif. Si vous vous contentez de détecter une augmentation de 20 % plus importante (de 2 % à 2,4 %), le besoin diminue d’environ quatre fois pour atteindre ~20 000 par variation. Si vous visez une augmentation plus faible de 5 %, il grimpe à près de 320 000 par variation.3
Différents calculateurs renvoient des résultats légèrement différents selon leurs hypothèses. La méthode la plus honnête consiste donc à saisir vos propres données dans un calculateur de taille d’échantillon comme celui d’Evan Miller et à montrer vos calculs. Pour obtenir des explications étape par étape sur le nombre de visiteurs dont vous avez besoin pour un test A/B, consultez notre guide dédié à la taille des échantillons. La leçon reste la même quel que soit le chiffre exact : les petites boutiques ne peuvent pas détecter de petits effets dans un délai raisonnable.
Le problème de faible trafic que toutes les boutiques Shopify rencontrent
Additionnez ces mathématiques au trafic réel, et le problème devient évident. Une boutique avec une conversion de 2 % et 30 000 visiteurs mensuels aurait besoin de mois pour mener à terme ce test unique visant une hausse de 10 %. La plupart des boutiques Shopify n’ont pas le trafic nécessaire pour tester de petits changements.
Conseils pratiques pour les petites boutiques :
- Visez environ 1 000 conversions par variante pour obtenir un résultat fiable. Certains experts ne feront pas confiance à un test avec moins de 250 à 400 conversions par variante.4
- Laissez tourner pendant au moins une semaine complète, idéalement deux ou plus, afin que le test capte un cycle d’activité entier. Les acheteurs en semaine et le week-end se comportent différemment.5
- Ne testez que vos pages à fort trafic - page d’accueil, collection principale et pages produits - afin qu’un test se termine ce trimestre plutôt que l’année prochaine.
- Visez de plus grands changements. Les boutiques à faible trafic devraient tester des changements audacieux avec de grands effets attendus, et non la couleur des boutons.
- En dessous d’environ 5 000 visiteurs mensuels, privilégiez la recherche qualitative - enregistrements de sessions, sondages, entretiens clients - plutôt que des split tests que vous ne pouvez pas alimenter. Cela se combine bien avec les méthodes de notre guide sur les tactiques CRO pour Shopify.
Le problème du peeking
L’erreur de test la plus dommageable est d’arrêter un test dès qu’il semble significatif. Cela paraît rationnel, mais ça détruit silencieusement vos résultats.
La raison est statistique. Si vous vérifiez de manière répétée un test en cours et l’arrêtez dès qu’il franchit 95 %, vous obtenez de nombreuses occasions de franchir cette ligne par chance. L’analyse d’Evan Miller a montré qu’un peeking continu peut pousser le véritable taux de faux positifs à environ 26 % - soit plus de cinq fois les 5 % que vous pensiez accepter.6
La solution réside dans la discipline mentionnée plus tôt : décidez à l’avance de la taille et de la durée de votre échantillon et ne concluez pas le test avant de les avoir atteints. Pas de peeking, pas d’arrêt prématuré quand une variante “a l’air de gagner”.
Erreurs courantes en test de conversion
- Le peeking et l’arrêt prématuré, qui gonflent les faux positifs comme vu plus haut.6
- Tester des changements triviaux. Les micro-ajustements produisent généralement des augmentations inférieures à 7 %, que les petites boutiques ne peuvent de toute façon pas détecter.7
- Créer trop de variantes, ce qui dilue le trafic et multiplie les chances d’un faux positif.
- Le Sample Ratio Mismatch (SRM). Si votre répartition visée de 50/50 est matériellement asymétrique à fort volume, votre suivi ou votre randomisation est cassé et le résultat est invalide.7
- Ignorer la saisonnalité. Un test lancé durant une promotion ou pendant les fêtes peut être faussé par un trafic qui ne se comporte pas du tout comme votre trafic de base.
- Confondre significativité et validité. Atteindre 95 % dans un outil ne veut rien dire si l’échantillon était trop petit ou si le test n’a duré que trois jours.4
Ce que vous pouvez et ne pouvez pas tester sur Shopify en 2026
Les options de test de Shopify ont récemment changé, il faut donc connaître la situation actuelle avant de choisir une méthode.
Shopify Rollouts (natif). Shopify a introduit le test A/B natif côté serveur qui s’est élargi en 2026 pour couvrir les thèmes, les sections, la navigation, et - sur les forfaits supérieurs - la configuration du checkout et des comptes clients.8 Deux limites comptent : il ne peut pas tester la tarification ou la logique de réduction, car ce ne sont pas des changements liés au thème, et il rapporte des métriques de performance sans test de significativité statistique, il ne désignera donc pas de gagnant pour vous. Les fonctionnalités de split test sont d’ailleurs réservées au forfait Grow et supérieurs.
Le checkout est effectivement réservé aux utilisateurs Plus. Les tests et personnalisations de checkout significatifs ne sont viables que sur Shopify Plus grâce à la Checkout Extensibility, et les scripts injectés sont bloqués dans la sandbox du checkout.9
Google Optimize a disparu. Google l’a fermé le 30 septembre 2023. Si un tutoriel le recommande, c’est qu’il n’est plus à jour.10
Outils de test tiers
| Outil | Ce qu’il teste | Tarifs annoncés |
|---|---|---|
| Shopify Rollouts | Thèmes, mise en page, sections ; config du checkout sur les forfaits supérieurs. Pas les prix. | Inclus ; split tests réservés au forfait Grow+ |
| Intelligems | Prix, frais de port, réductions, offres, contenu | Contenu dès ~74 $/mois ; tests de prix dès ~499 $/mois |
| Shoplift | Thèmes, templates, pages produits et landing pages, prix | Dès ~74 $/mois, évolutif selon les visiteurs |
| VWO / Optimizely | A/B et multivarié complet côté client | Tarifs de la plateforme, vérifiez les forfaits actuels |
Confirmez les tarifs actuels sur la page de chaque fournisseur avant de vous engager - ces forfaits évoluent. Pour une analyse plus complète, consultez notre sélection des meilleurs outils d’A/B testing Shopify et des meilleures applications Shopify pour le CRO.
Attentes réalistes : les benchmarks
Deux chiffres vous aideront à définir votre MDE et à lire vos résultats honnêtement.
Le taux de conversion de base. Shopify et les benchmarks e-commerce placent la boutique typique entre 1,4 % et 3 %, ce qui varie considérablement selon la catégorie — les bijoux et les meubles sont en dessous de 1,5 %, tandis que la beauté, la nourriture et les boissons le surpassent.11 Connaissez votre propre chiffre avant de calculer la taille de l’échantillon, et vérifiez-le avec nos benchmarks de taux de conversion Shopify.
Gain réaliste. Les méta-analyses de tests réels estiment que l’augmentation moyenne se situe autour de 4 à 5 %, et la plupart des changements testés produisent de petits effets.12 Prévoyez de petites victoires. Une boutique qui s’attend à ce que chaque test lui rapporte 30 % de hausse ne fera que courir derrière du bruit statistique et arrêtera ses tests trop tôt.
Comment mener un test de A à Z
En résumé, un test fiable ressemble à ça :
- Écrivez une hypothèse spécifique liée à une métrique principale.
- Vérifiez votre taux de conversion de base pour cette métrique.
- Choisissez la plus petite amélioration (ou lift) à détecter, en privilégiant des effets plus importants si le trafic est limité.
- Calculez la taille de l’échantillon, puis la durée, et arrondissez à des semaines complètes.
- Créez la variante. Vous pouvez préparer et publier la modification rapidement dans l’éditeur de boutique Shopify, puis la lancer via votre outil d’A/B testing.
- Laissez tourner jusqu’à atteindre l’échantillon et la durée prévus. Ne jetez pas de coup d’œil en cours de route.
- Lisez le résultat sur votre métrique principale, vérifiez qu’il n’y a pas d’erreur de répartition de l’échantillon (sample ratio mismatch), et décidez.
- Qu’il soit gagnant ou perdant, utilisez ce que vous avez appris pour la prochaine hypothèse. Pour les tests sur les pages produits en particulier, notre guide sur l’A/B testing des pages produits Shopify vous explique comment faire.
L’optimisation des conversions est une boucle, pas un coup d’un soir. Les boutiques qui cumulent les gains sont celles qui font des tests rigoureux en continu et qui font vraiment confiance aux résultats.
FAQ
Ça dépend de votre taux de conversion de base et de l'effet que vous voulez détecter. Avec une base de 2 %, détecter une hausse de 10 % demande environ 80 000 visiteurs par variante. En général, on vise autour de 1 000 conversions par variante. En dessous de 5 000 visiteurs mensuels environ, la recherche qualitative est souvent plus utile que les split tests.
Le MDE (effet minimum détectable) est la plus petite amélioration que vous voulez que votre test puisse détecter. C'est un facteur clé pour la taille de l'échantillon, et la relation est quadratique : diviser votre MDE par deux multiplie environ par quatre le nombre de visiteurs nécessaires. Les petites boutiques devraient fixer un MDE plus grand et tester des changements audacieux, car les petits effets nécessitent des échantillons énormes.
Au moins une semaine complète, et idéalement deux ou plus, pour que le test couvre un cycle commercial complet, incluant le comportement en semaine et le week-end. Surtout, laissez tourner jusqu'à atteindre la taille de l'échantillon que vous avez calculée à l'avance. Ne l'arrêtez pas plus tôt juste parce qu'une variante a l'air de gagner.
Parce que le fait de vérifier sans cesse et de s'arrêter à la première lecture significative gonfle énormément votre taux de faux positifs. Des analyses ont montré que le peeking en continu peut pousser le vrai taux de faux positifs à environ 26 %, soit plus de cinq fois les 5 % prévus. Décidez de la taille de l'échantillon et de la durée à l'avance, et attendez.
Pas avec la fonctionnalité native Rollouts de Shopify, qui teste les modifications de thème et de mise en page, mais pas les prix ou la logique des réductions. Pour tester les prix, il vous faut un outil tiers comme Intelligems ou Shoplift. Les forfaits pour tester les prix sont généralement plus chers et souvent destinés aux boutiques Shopify Plus.
Non. Shopify Rollouts indique des métriques de performance comme le taux de conversion, le panier moyen et les sessions, mais il ne lance pas de test de significativité statistique ni ne déclare de gagnant. Vous devez juger la significativité vous-même avec un calculateur ou utiliser un outil tiers qui fait les statistiques pour vous.
Footnotes
-
VWO, “How to Calculate A/B Test Sample Size,” sur les quatre données d’entrée et la formule à deux proportions. https://vwo.com/blog/how-to-calculate-ab-test-sample-size/ ↩ ↩2
-
CXL, “Statistical Power”: une puissance de 80 % est le standard par défaut, équilibrant le risque de faux positif et de faux négatif. https://cxl.com/blog/statistical-power/ ↩
-
Sur la relation quadratique entre l’effet minimum détectable et la taille de l’échantillon. Chiffres calculés (environ 80 000 par variante pour une base de 2 % et un lift relatif de 10 % à 95 %/80 %) avec la formule standard à deux proportions ; les calculateurs varient selon les hypothèses. https://splitmetrics.com/resources/minimum-detectable-effect-mde/ ↩ ↩2
-
CXL, “Stopping A/B Tests: How Many Conversions Do I Need?”: recommandation autour de 1 000 conversions, et sur le fait que la significativité statistique ne vaut pas validité. https://cxl.com/blog/stopping-ab-tests-how-many-conversions-do-i-need/ ↩ ↩2
-
VWO, “Understanding Minimum Test Duration”: un minimum de 7 jours pour capturer un cycle hebdomadaire complet, souvent plus long. https://help.vwo.com/hc/en-us/articles/37026733636121-Understanding-Minimum-Test-Duration ↩
-
Evan Miller, “How Not to Run an A/B Test”: surveiller en continu et s’arrêter à la significativité peut faire grimper le vrai taux de faux positifs à environ 26 %. https://www.evanmiller.org/how-not-to-run-an-ab-test.html ↩ ↩2
-
Sur les erreurs courantes en A/B testing, y compris les changements mineurs, un trop grand nombre de variantes, et le sample ratio mismatch. https://posthog.com/product-engineers/ab-testing-mistakes ↩ ↩2
-
Sur l’A/B testing natif Shopify Rollouts : ce qu’il peut tester, qu’il ne teste pas les prix, qu’il indique les métriques sans test de significativité, et que les expérimentations sont réservées aux forfaits supérieurs. https://www.usestorepilot.com/blog/shopify-rollouts-ab-testing/ ↩
-
Sur la personnalisation et le test du checkout, qui sont en pratique limités à Shopify Plus avec la checkout extensibility. https://www.intelligems.io/resources/blog/the-evolution-of-checkout-customization-is-here ↩
-
Google Optimize et Optimize 360 ont fermé le 30 septembre 2023. https://www.optimizely.com/optimize/ ↩
-
Shopify, “How to Improve Ecommerce Conversion Rates”: le taux de conversion typique d’une boutique se situe entre 1,4 % et 3 %, avec de grandes variations selon la catégorie. https://www.shopify.com/blog/ecommerce-conversion-rate ↩
-
L’analyse d’Analytics-Toolkit sur 115 tests A/B a trouvé une hausse moyenne d’environ 4 %, la plupart des tests manquant de puissance ; la méta-analyse de GoodUI rapporte une hausse médiane proche de 5 %. https://blog.analytics-toolkit.com/2018/analysis-of-115-a-b-tests-average-lift-statistical-power/ ↩


