Le guide complet du test de conversion sur Shopify

Publié
Revu par un expert
5 min de lecture
Simeon Mantel
Simeon Mantel
CEO chez Fudge.
Simeon est CEO chez Fudge avec 12 ans d'expérience dans le produit et l'e-commerce, ayant notamment dirigé le produit dans une startup soutenue par YC. Il a échangé avec des milliers de fondateurs, d'agences et d'opérateurs Shopify sur la façon dont ils créent et lancent leurs boutiques — des recherches qui façonnent directement Fudge, qui propulse aujourd'hui plus de 22 000 pages chez plus de 400 marchands. Il écrit sur l'IA appliquée à l'e-commerce, l'évolution du rôle des page builders, et ce qu'il faut pour lancer des pages qui génèrent des revenus, sans templates ni développeurs.

Points clés

  • Le test de conversion est du CRO avec des statistiques intégrées - vous ne vous contentez pas de modifier une page, vous mesurez si le changement a causé une réelle différence.
  • Tout test valide est défini avant son lancement par quatre variables : la significativité, la puissance, l’effet minimum détectable (MDE) et votre taux de conversion de base.
  • Les mathématiques sont impitoyables pour les petites boutiques : avec un taux de base de 2 %, détecter une hausse de 10 % nécessite environ 80 000 visiteurs par variante. Diviser par deux l’effet visé quadruple presque l’échantillon nécessaire.
  • L’erreur la plus fréquente est le peeking - arrêter un test dès qu’il semble significatif. Cela peut pousser votre taux de faux positifs réel au-delà de 25 %.
  • L’outil de test natif de Shopify (Rollouts) peut tester des mises en page mais pas les prix, ne rapporte aucune significativité statistique, et réserve les fonctionnalités d’expérimentation aux forfaits supérieurs.

Ceci est un guide pilier sur les tests de conversion sur Shopify. Il va plus loin qu’un simple aperçu du CRO en explorant la mécanique qui détermine si le résultat d’un test est réel : la taille de l’échantillon, la significativité statistique, la durée du test, et le problème particulier que rencontrent les boutiques sans grand trafic.

Si vous voulez une vue d’ensemble de ce qu’il faut changer en premier sur votre boutique, commencez par notre guide du CRO sur Shopify et revenez ici lorsque vous serez prêt à tester ces changements dans les règles de l’art.

Pourquoi vous pouvez nous faire confiance

Nous avons passé plus de quatre ans dans l’écosystème Shopify et construit Fudge, un constructeur de pages IA utilisé par des centaines d’e-commerçants pour publier et itérer sur les pages de leurs boutiques. Nous avons vu beaucoup de boutiques mener de nombreux tests, et la cause d’échec est presque toujours la même : déclarer un gagnant à partir de données qui ne l’ont jamais justifié. Ce guide est rédigé pour éviter cela.

Ce qu’est réellement le test de conversion

Le test de conversion est la pratique consistant à modifier un élément sur votre boutique, à montrer ce changement à une moitié aléatoire de vos visiteurs, et à utiliser les statistiques pour déterminer si cela a causé une différence réelle du taux de conversion. Les statistiques sont l’essentiel. Sans elles, vous vous contentez de regarder deux chiffres et de deviner.

Cette distinction sépare les tests de conversion de l’optimisation générale du taux de conversion. Le CRO est la discipline globale d’amélioration de votre boutique. Les tests de conversion sont la méthode de mesure qui vous indique quelles améliorations ont réellement fonctionné.

Un test A/B répartit le trafic entre un contrôle (A) et une variante (B). Les tests A/B/n ajoutent plus de variantes. Les tests multivariés changent plusieurs éléments à la fois. Pour la plupart des boutiques Shopify, un simple test A/B à deux voies est le bon outil, car davantage de variantes divisent encore plus votre trafic et rendent la significativité plus difficile à atteindre.

L’anatomie d’un test valide

Un test digne de confiance est défini avant même de commencer. Décidez de ces cinq éléments à l’avance :

  1. L’hypothèse - une affirmation spécifique et réfutable. “Déplacer les avis au-dessus de la ligne de flottaison va augmenter le taux d’ajout au panier”, et non “essayons de faire des changements”.
  2. La métrique principale - la métrique unique qui détermine le succès du test. Généralement le taux de conversion ou le revenu par visiteur.
  3. L’effet minimum détectable (MDE) - la plus petite amélioration à laquelle il vaut la peine de s’intéresser.
  4. La taille de l’échantillon - le nombre de visiteurs par variante dont vous avez besoin, calculé à partir des variables ci-dessous.
  5. La durée - le temps qu’il faudra pour collecter cet échantillon, arrondi à des semaines complètes.

Fixer la taille de l’échantillon et la durée à l’avance est ce qui vous empêche de vous leurrer vous-même plus tard.

Les quatre variables de tout calcul de taille d’échantillon

Chaque nombre pour la taille d’échantillon découle de quatre valeurs.1

La significativité statistique (α). Le risque que vous acceptez de déclarer un gagnant qui n’est en fait que du bruit. La convention est de 5 %, c’est ce que signifie “95 % de confiance”. Un faux positif ici est un changement que vous déployez et qui ne sert à rien.

La puissance statistique (1−β). Les chances que votre test détecte un effet réel qui existe. La convention est de 80 %, ce qui signifie qu’un vrai gagnant de la taille visée est repéré 80 % du temps.2 Une puissance plus faible signifie que de vraies victoires passent inaperçues.

L’effet minimum détectable (MDE). La plus petite hausse que vous voulez pouvoir repérer. C’est la variable sur laquelle les e-commerçants se trompent le plus souvent. Un MDE plus petit semble mieux, mais fait exploser votre besoin en échantillon.

Le taux de conversion de base. Votre taux de conversion actuel pour la métrique. Des taux de base plus bas nécessitent des échantillons plus importants, car chaque conversion est un événement plus rare et bruyant.

Les mathématiques : pourquoi de petits effets nécessitent d’énormes échantillons

Voici la relation qui régit tout : la taille de l’échantillon requise croît avec le carré de la petitesse de l’effet que vous voulez détecter. Divisez par deux votre MDE et vous multipliez par quatre le nombre de visiteurs requis.3

Un exemple chiffré rend cela concret. Supposons que votre boutique convertisse à 2 % et que vous souhaitiez détecter une hausse relative de 10 % - passer de 2 % à 2,2 % - avec un niveau de confiance de 95 % et une puissance de 80 %. En utilisant la formule standard à deux proportions :1

Vous avez besoin d’environ 80 000 visiteurs par variante, soit environ 160 000 au total, pour conclure ce test.

Maintenant, assouplissez l’objectif. Si vous acceptez de ne détecter qu’une hausse plus importante de 20 % (de 2 % à 2,4 %), l’exigence chute d’environ un quart, à ~20 000 par variante. Visez une petite augmentation de 5 % et elle grimpe à environ 320 000 par variante.3

Les différents calculateurs renvoient des chiffres légèrement différents en fonction de leurs hypothèses, donc la manière honnête d’utiliser cela est d’entrer vos propres variables dans un calculateur de taille d’échantillon comme celui d’Evan Miller et de montrer vos calculs. La leçon reste la même quel que soit le chiffre exact : les petites boutiques ne peuvent pas détecter les petits effets dans un délai raisonnable.

Déployez la variante que vous voulez tester en quelques minutes, et non en plusieurs sprints.
Try Fudge for Free

Le problème de faible trafic que toutes les boutiques Shopify rencontrent

Additionnez ces mathématiques au trafic réel, et le problème devient évident. Une boutique avec une conversion de 2 % et 30 000 visiteurs mensuels aurait besoin de mois pour mener à terme ce test unique visant une hausse de 10 %. La plupart des boutiques Shopify n’ont pas le trafic nécessaire pour tester de petits changements.

Conseils pratiques pour les petites boutiques :

Le problème du peeking

L’erreur de test la plus dommageable est d’arrêter un test dès qu’il semble significatif. Cela paraît rationnel, mais ça détruit silencieusement vos résultats.

La raison est statistique. Si vous vérifiez de manière répétée un test en cours et l’arrêtez dès qu’il franchit 95 %, vous obtenez de nombreuses occasions de franchir cette ligne par chance. L’analyse d’Evan Miller a montré qu’un peeking continu peut pousser le véritable taux de faux positifs à environ 26 % - soit plus de cinq fois les 5 % que vous pensiez accepter.6

La solution réside dans la discipline mentionnée plus tôt : décidez à l’avance de la taille et de la durée de votre échantillon et ne concluez pas le test avant de les avoir atteints. Pas de peeking, pas d’arrêt prématuré quand une variante “a l’air de gagner”.

Erreurs courantes en test de conversion

Ce que vous pouvez et ne pouvez pas tester sur Shopify en 2026

Les options de test de Shopify ont récemment changé, il faut donc connaître la situation actuelle avant de choisir une méthode.

Shopify Rollouts (natif). Shopify a introduit le test A/B natif côté serveur qui s’est élargi en 2026 pour couvrir les thèmes, les sections, la navigation, et - sur les forfaits supérieurs - la configuration du checkout et des comptes clients.8 Deux limites comptent : il ne peut pas tester la tarification ou la logique de réduction, car ce ne sont pas des changements liés au thème, et il rapporte des métriques de performance sans test de significativité statistique, il ne désignera donc pas de gagnant pour vous. Les fonctionnalités de split test sont d’ailleurs réservées au forfait Grow et supérieurs.

Le checkout est effectivement réservé aux utilisateurs Plus. Les tests et personnalisations de checkout significatifs ne sont viables que sur Shopify Plus grâce à la Checkout Extensibility, et les scripts injectés sont bloqués dans la sandbox du checkout.9

Google Optimize a disparu. Google l’a fermé le 30 septembre 2023. Si un tutoriel le recommande, c’est qu’il n’est plus à jour.10

Outils de test tiers

OutilCe qu’il testeTarifs annoncés
Shopify RolloutsThèmes, layout, sections ; config. du checkout sur forfaits sup. Pas de prix.Inclus ; split tests réservés à Grow+
IntelligemsPrix, expédition, réductions, offres, contenuContenu à partir de ~74 $/mois ; tests de prix à partir de ~499 $/mois
ShopliftThèmes, modèles, pages produit et landing pages, prixÀ partir de ~74 $/mois, évolutif avec les visiteurs
VWO / OptimizelyTest A/B et multivarié complet côté clientTarifs plateforme, vérifier les offres actuelles

Vérifiez les tarifs actuels sur la page de chaque fournisseur avant de vous engager - ces prix peuvent évoluer. Pour une analyse plus complète, consultez notre sélection des meilleurs outils de test A/B sur Shopify et des meilleures applications Shopify pour le CRO.

Attentes réalistes : les benchmarks

Deux chiffres vous aideront à définir votre MDE et à lire vos résultats honnêtement.

Le taux de conversion de base. Shopify et les benchmarks e-commerce placent la boutique typique entre 1,4 % et 3 %, ce qui varie considérablement selon la catégorie — les bijoux et les meubles sont en dessous de 1,5 %, tandis que la beauté, la nourriture et les boissons le surpassent.11 Connaissez votre propre chiffre avant de calculer la taille de l’échantillon, et vérifiez-le avec nos benchmarks de taux de conversion Shopify.

Gain réaliste. Les méta-analyses de tests réels estiment que l’augmentation moyenne se situe autour de 4 à 5 %, et la plupart des changements testés produisent de petits effets.12 Prévoyez de petites victoires. Une boutique qui s’attend à ce que chaque test lui rapporte 30 % de hausse ne fera que courir derrière du bruit statistique et arrêtera ses tests trop tôt.

Comment mener un test de A à Z

En résumé, un test digne de confiance se déroule ainsi :

  1. Écrivez une hypothèse spécifique liée à une seule métrique principale.
  2. Cherchez votre taux de conversion de base pour cette métrique.
  3. Choisissez la plus petite amélioration justifiant d’être détectée, en ciblant des effets plus importants si le trafic est limité.
  4. Calculez la taille de l’échantillon, puis sa durée, et arrondissez en semaines pleines.
  5. Créez la variante. Vous pouvez rédiger et déployer le changement rapidement dans l’éditeur de boutique Shopify, puis le lancer via votre outil de test.
  6. Laissez tourner jusqu’à la taille et la durée prédéterminées de votre échantillon. Pas de peeking.
  7. Lisez le résultat sur votre unique métrique principale, vérifiez s’il n’y a pas de Sample Ratio Mismatch (SRM), et décidez.
  8. Qu’il soit gagnant ou perdant, intégrez cet apprentissage à votre prochaine hypothèse. Pour les tests sur les pages produit en particulier, notre guide sur le test A/B des pages produit Shopify détaille la procédure.

Le test de conversion est une boucle continue, pas un cas isolé. Les boutiques qui cumulent les gains sont celles qui mènent des tests rigoureux et disciplinés de façon pérenne, et qui peuvent réellement faire confiance aux résultats.

FAQ

De combien de trafic ai-je besoin pour faire de l'A/B testing sur Shopify ?

Cela dépend de votre taux de conversion de base et de l'effet que vous souhaitez détecter. Avec un taux de base de 2 %, détecter une hausse de 10 % nécessite environ 80 000 visiteurs par variante. Une règle empirique courante est d'environ 1 000 conversions par variante. En dessous de 5 000 visiteurs par mois environ, l'analyse qualitative est généralement plus utile que l'A/B testing.

Qu'est-ce que l'effet minimum détectable (MDE) ?

Le MDE est la plus petite amélioration que vous souhaitez que votre test puisse repérer. C'est un élément clé pour déterminer la taille de l'échantillon, et le ratio est quadratique : diviser votre MDE par deux quadruple presque le nombre de visiteurs dont vous aurez besoin. Les petites boutiques devraient se fixer un MDE plus élevé et tester des changements plus radicaux, car de petits effets exigent d'énormes échantillons.

Combien de temps un test A/B Shopify doit-il durer ?

Au moins une semaine complète, et idéalement deux ou plus, pour s'assurer que le test englobe l'ensemble d'un cycle commercial, incluant aussi bien les comportements en semaine que ceux du week-end. Surtout, laissez tourner le test jusqu'à ce que vous ayez atteint la taille d'échantillon calculée au préalable. Ne l'arrêtez pas prématurément simplement parce qu'une variante semble vaincre.

Pourquoi ne devrais-je pas arrêter un test dès qu'il atteint un résultat significatif ?

Parce que vérifier et stopper l'expérience de manière itérative dès la première lecture significative augmente tragiquement votre taux de faux positifs. Les analyses ont démontré qu'un peeking continu peut élever le taux véritable de faux positifs aux alentours de 26 %, ce qui équivaut à plus de cinq fois les 5 % que vous visiez initialement. Décidez conjointement de la taille de l'échantillon et sa durée dès le début, puis patientez.

Puis-je tester différents prix en A/B sur Shopify ?

Pas avec la fonctionnalité native Rollouts de Shopify, qui permet de tester les changements de thème et de disposition physique mais pas la tarification ou les mécanismes de réduction. Pour tester les prix, vous aurez besoin d'un outil tiers tel que Intelligems ou Shoplift. Les offres permettant le test des prix sont généralement plus coûteuses et visent plus particulièrement les boutiques Shopify Plus.

Le test A/B natif de Shopify m'indique-t-il si un résultat est significatif ?

Non. Shopify Rollouts rapporte des métriques de performance telles que le taux de conversion, le panier moyen et les sessions, mais il ne lance pas de test de significativité statistique ni ne désigne de gagnant. Vous devrez juger vous-même la significativité avec un calculateur ou utiliser un outil externe calculant les statistiques pour vous.

Simeon's signature
Prêt à tester votre chemin vers une boutique qui convertit mieux ?

Footnotes

  1. VWO, “How to Calculate A/B Test Sample Size,” sur les quatre variables et la formule à deux proportions. https://vwo.com/blog/how-to-calculate-ab-test-sample-size/ 2

  2. CXL, “Statistical Power”: une puissance de 80 % est la norme par défaut, équilibrant le risque de faux positif et de faux négatif. https://cxl.com/blog/statistical-power/

  3. Sur la relation quadratique entre l’effet minimum détectable et la taille de l’échantillon. Les chiffres (environ 80 000 par variante pour un taux de base de 2 % et une augmentation relative de 10 % à 95 %/80 %) sont calculés avec la formule standard à deux proportions ; les calculateurs varient selon les hypothèses. https://splitmetrics.com/resources/minimum-detectable-effect-mde/ 2

  4. CXL, “Stopping A/B Tests: How Many Conversions Do I Need?”: recommandation d’environ 1 000 conversions, et sur le fait que la significativité statistique ne vaut pas validité. https://cxl.com/blog/stopping-ab-tests-how-many-conversions-do-i-need/ 2

  5. VWO, “Understanding Minimum Test Duration”: un minimum de 7 jours pour saisir un cycle hebdomadaire complet, souvent plus. https://help.vwo.com/hc/en-us/articles/37026733636121-Understanding-Minimum-Test-Duration

  6. Evan Miller, “How Not to Run an A/B Test”: le peeking continu et l’arrêt à la significativité peuvent faire grimper le vrai taux de faux positifs à environ 26 %. https://www.evanmiller.org/how-not-to-run-an-ab-test.html 2

  7. Sur les erreurs classiques des tests A/B, incluant les petits changements triviaux, un nombre trop élevé de variantes, et le Sample Ratio Mismatch. https://posthog.com/product-engineers/ab-testing-mistakes 2

  8. Sur l’outil de test A/B natif Rollouts de Shopify : ce qu’il peut tester, le fait qu’il ne teste pas les prix, qu’il indique les métriques sans test de significativité, et que les expérimentations sont réservées aux forfaits supérieurs. https://www.usestorepilot.com/blog/shopify-rollouts-ab-testing/

  9. Sur la personnalisation et le test de checkout qui se limitent concrètement à Shopify Plus via la Checkout Extensibility. https://www.intelligems.io/resources/blog/the-evolution-of-checkout-customization-is-here

  10. Google Optimize et Optimize 360 ont été fermés le 30 septembre 2023. https://www.optimizely.com/optimize/

  11. Shopify, “How to Improve Ecommerce Conversion Rates”: la conversion typique d’une boutique se situe entre 1,4 % et 3 %, avec de grandes variations par catégorie. https://www.shopify.com/blog/ecommerce-conversion-rate

  12. L’analyse d’Analytics-Toolkit sur 115 tests A/B a trouvé une hausse moyenne d’environ 4 %, avec la plupart des tests en sous-puissance ; la méta-analyse de GoodUI rapporte un gain médian proche de 5 %. https://blog.analytics-toolkit.com/2018/analysis-of-115-a-b-tests-average-lift-statistical-power/

Articles similaires