Le guide complet du test de conversion sur Shopify

Publié
Revu par un expert
5 min de lecture
Simeon Mantel
Simeon Mantel
CEO chez Fudge.
Simeon est CEO chez Fudge avec 12 ans d'expérience dans le produit et l'e-commerce, ayant notamment dirigé le produit dans une startup soutenue par YC. Il a échangé avec des milliers de fondateurs, d'agences et d'opérateurs Shopify sur la façon dont ils créent et lancent leurs boutiques — des recherches qui façonnent directement Fudge, qui propulse aujourd'hui plus de 22 000 pages chez plus de 400 marchands. Il écrit sur l'IA appliquée à l'e-commerce, l'évolution du rôle des page builders, et ce qu'il faut pour lancer des pages qui génèrent des revenus, sans templates ni développeurs.

Points clés

  • Le test de conversion est du CRO avec des statistiques intégrées - vous ne vous contentez pas de modifier une page, vous mesurez si le changement a causé une réelle différence.
  • Tout test valide est défini avant son lancement par quatre variables : la significativité, la puissance, l’effet minimum détectable (MDE) et votre taux de conversion de base.
  • Les mathématiques sont impitoyables pour les petites boutiques : avec un taux de base de 2 %, détecter une hausse de 10 % nécessite environ 80 000 visiteurs par variante. Diviser par deux l’effet visé quadruple presque l’échantillon nécessaire.
  • L’erreur la plus fréquente est le peeking - arrêter un test dès qu’il semble significatif. Cela peut pousser votre taux de faux positifs réel au-delà de 25 %.
  • L’outil de test natif de Shopify (Rollouts) peut tester des mises en page mais pas les prix, ne rapporte aucune significativité statistique, et réserve les fonctionnalités d’expérimentation aux forfaits supérieurs.

Ceci est un guide pilier sur les tests de conversion sur Shopify. Il va plus loin qu’un simple aperçu du CRO en explorant la mécanique qui détermine si le résultat d’un test est réel : la taille de l’échantillon, la significativité statistique, la durée du test, et le problème particulier que rencontrent les boutiques sans grand trafic.

Si vous voulez une vue d’ensemble de ce qu’il faut changer en premier sur votre boutique, commencez par notre guide du CRO sur Shopify et revenez ici lorsque vous serez prêt à tester ces changements dans les règles de l’art.

Pourquoi vous pouvez nous faire confiance

Nous avons passé plus de quatre ans dans l’écosystème Shopify et construit Fudge, un constructeur de pages IA utilisé par des centaines d’e-commerçants pour publier et itérer sur les pages de leurs boutiques. Nous avons vu beaucoup de boutiques mener de nombreux tests, et la cause d’échec est presque toujours la même : déclarer un gagnant à partir de données qui ne l’ont jamais justifié. Ce guide est rédigé pour éviter cela.

Ce qu’est réellement le test de conversion

Le test de conversion est la pratique consistant à modifier un élément sur votre boutique, à montrer ce changement à une moitié aléatoire de vos visiteurs, et à utiliser les statistiques pour déterminer si cela a causé une différence réelle du taux de conversion. Les statistiques sont l’essentiel. Sans elles, vous vous contentez de regarder deux chiffres et de deviner.

Cette distinction sépare les tests de conversion de l’optimisation générale du taux de conversion. Le CRO est la discipline globale d’amélioration de votre boutique. Les tests de conversion sont la méthode de mesure qui vous indique quelles améliorations ont réellement fonctionné.

Un test A/B répartit le trafic entre un contrôle (A) et une variante (B). Les tests A/B/n ajoutent plus de variantes. Les tests multivariés changent plusieurs éléments à la fois. Pour la plupart des boutiques Shopify, un simple test A/B à deux voies est le bon outil, car davantage de variantes divisent encore plus votre trafic et rendent la significativité plus difficile à atteindre.

L’anatomie d’un test valide

Un test digne de confiance est défini avant même de commencer. Décidez de ces cinq éléments à l’avance :

  1. L’hypothèse - une affirmation spécifique et réfutable. “Déplacer les avis au-dessus de la ligne de flottaison va augmenter le taux d’ajout au panier”, et non “essayons de faire des changements”.
  2. La métrique principale - la métrique unique qui détermine le succès du test. Généralement le taux de conversion ou le revenu par visiteur.
  3. L’effet minimum détectable (MDE) - la plus petite amélioration à laquelle il vaut la peine de s’intéresser.
  4. La taille de l’échantillon - le nombre de visiteurs par variante dont vous avez besoin, calculé à partir des variables ci-dessous.
  5. La durée - le temps qu’il faudra pour collecter cet échantillon, arrondi à des semaines complètes.

Fixer la taille de l’échantillon et la durée à l’avance est ce qui vous empêche de vous leurrer vous-même plus tard.

Les quatre variables de tout calcul de taille d’échantillon

Chaque nombre pour la taille d’échantillon découle de quatre valeurs.1

La significativité statistique (α). Le risque que vous acceptez de déclarer un gagnant qui n’est en fait que du bruit. La convention est de 5 %, c’est ce que signifie “95 % de confiance”. Un faux positif ici est un changement que vous déployez et qui ne sert à rien.

La puissance statistique (1−β). Les chances que votre test détecte un effet réel qui existe. La convention est de 80 %, ce qui signifie qu’un vrai gagnant de la taille visée est repéré 80 % du temps.2 Une puissance plus faible signifie que de vraies victoires passent inaperçues.

L’effet minimum détectable (MDE). La plus petite hausse que vous voulez pouvoir repérer. C’est la variable sur laquelle les e-commerçants se trompent le plus souvent. Un MDE plus petit semble mieux, mais fait exploser votre besoin en échantillon.

Le taux de conversion de base. Votre taux de conversion actuel pour la métrique. Des taux de base plus bas nécessitent des échantillons plus importants, car chaque conversion est un événement plus rare et bruyant.

Les mathématiques : pourquoi de petits effets nécessitent d’énormes échantillons

Voici la relation qui régit tout : la taille d’échantillon requise est inversement proportionnelle au carré de l’effet que vous souhaitez détecter. Divisez votre MDE par deux et vous multiplierez à peu près par quatre le nombre de visiteurs dont vous avez besoin.3

Un exemple concret permet de mieux comprendre. Supposons que votre boutique convertisse à 2 % et que vous souhaitiez détecter une augmentation relative de 10 % - en passant de 2 % à 2,2 % - avec un niveau de confiance de 95 % et une puissance de 80 %. En utilisant la formule standard des deux proportions :1

Vous avez besoin d’environ 80 000 visiteurs par variation, soit près de 160 000 au total, pour conclure ce test.

Assouplissons maintenant l’objectif. Si vous vous contentez de détecter une augmentation de 20 % plus importante (de 2 % à 2,4 %), le besoin diminue d’environ quatre fois pour atteindre ~20 000 par variation. Si vous visez une augmentation plus faible de 5 %, il grimpe à près de 320 000 par variation.3

Différents calculateurs renvoient des résultats légèrement différents selon leurs hypothèses. La méthode la plus honnête consiste donc à saisir vos propres données dans un calculateur de taille d’échantillon comme celui d’Evan Miller et à montrer vos calculs. Pour obtenir des explications étape par étape sur le nombre de visiteurs dont vous avez besoin pour un test A/B, consultez notre guide dédié à la taille des échantillons. La leçon reste la même quel que soit le chiffre exact : les petites boutiques ne peuvent pas détecter de petits effets dans un délai raisonnable.

Déployez la variante que vous souhaitez tester en quelques minutes, pas en plusieurs sprints.
Try Fudge for Free

Le problème de faible trafic que toutes les boutiques Shopify rencontrent

Additionnez ces mathématiques au trafic réel, et le problème devient évident. Une boutique avec une conversion de 2 % et 30 000 visiteurs mensuels aurait besoin de mois pour mener à terme ce test unique visant une hausse de 10 %. La plupart des boutiques Shopify n’ont pas le trafic nécessaire pour tester de petits changements.

Conseils pratiques pour les petites boutiques :

Le problème du peeking

L’erreur de test la plus dommageable est d’arrêter un test dès qu’il semble significatif. Cela paraît rationnel, mais ça détruit silencieusement vos résultats.

La raison est statistique. Si vous vérifiez de manière répétée un test en cours et l’arrêtez dès qu’il franchit 95 %, vous obtenez de nombreuses occasions de franchir cette ligne par chance. L’analyse d’Evan Miller a montré qu’un peeking continu peut pousser le véritable taux de faux positifs à environ 26 % - soit plus de cinq fois les 5 % que vous pensiez accepter.6

La solution réside dans la discipline mentionnée plus tôt : décidez à l’avance de la taille et de la durée de votre échantillon et ne concluez pas le test avant de les avoir atteints. Pas de peeking, pas d’arrêt prématuré quand une variante “a l’air de gagner”.

Erreurs courantes en test de conversion

Ce que vous pouvez et ne pouvez pas tester sur Shopify en 2026

Les options de test de Shopify ont récemment changé, il faut donc connaître la situation actuelle avant de choisir une méthode.

Shopify Rollouts (natif). Shopify a introduit le test A/B natif côté serveur qui s’est élargi en 2026 pour couvrir les thèmes, les sections, la navigation, et - sur les forfaits supérieurs - la configuration du checkout et des comptes clients.8 Deux limites comptent : il ne peut pas tester la tarification ou la logique de réduction, car ce ne sont pas des changements liés au thème, et il rapporte des métriques de performance sans test de significativité statistique, il ne désignera donc pas de gagnant pour vous. Les fonctionnalités de split test sont d’ailleurs réservées au forfait Grow et supérieurs.

Le checkout est effectivement réservé aux utilisateurs Plus. Les tests et personnalisations de checkout significatifs ne sont viables que sur Shopify Plus grâce à la Checkout Extensibility, et les scripts injectés sont bloqués dans la sandbox du checkout.9

Google Optimize a disparu. Google l’a fermé le 30 septembre 2023. Si un tutoriel le recommande, c’est qu’il n’est plus à jour.10

Outils de test tiers

OutilCe qu’il testeTarifs annoncés
Shopify RolloutsThèmes, mise en page, sections ; config du checkout sur les forfaits supérieurs. Pas les prix.Inclus ; split tests réservés au forfait Grow+
IntelligemsPrix, frais de port, réductions, offres, contenuContenu dès ~74 $/mois ; tests de prix dès ~499 $/mois
ShopliftThèmes, templates, pages produits et landing pages, prixDès ~74 $/mois, évolutif selon les visiteurs
VWO / OptimizelyA/B et multivarié complet côté clientTarifs de la plateforme, vérifiez les forfaits actuels

Confirmez les tarifs actuels sur la page de chaque fournisseur avant de vous engager - ces forfaits évoluent. Pour une analyse plus complète, consultez notre sélection des meilleurs outils d’A/B testing Shopify et des meilleures applications Shopify pour le CRO.

Attentes réalistes : les benchmarks

Deux chiffres vous aideront à définir votre MDE et à lire vos résultats honnêtement.

Le taux de conversion de base. Shopify et les benchmarks e-commerce placent la boutique typique entre 1,4 % et 3 %, ce qui varie considérablement selon la catégorie — les bijoux et les meubles sont en dessous de 1,5 %, tandis que la beauté, la nourriture et les boissons le surpassent.11 Connaissez votre propre chiffre avant de calculer la taille de l’échantillon, et vérifiez-le avec nos benchmarks de taux de conversion Shopify.

Gain réaliste. Les méta-analyses de tests réels estiment que l’augmentation moyenne se situe autour de 4 à 5 %, et la plupart des changements testés produisent de petits effets.12 Prévoyez de petites victoires. Une boutique qui s’attend à ce que chaque test lui rapporte 30 % de hausse ne fera que courir derrière du bruit statistique et arrêtera ses tests trop tôt.

Comment mener un test de A à Z

En résumé, un test fiable ressemble à ça :

  1. Écrivez une hypothèse spécifique liée à une métrique principale.
  2. Vérifiez votre taux de conversion de base pour cette métrique.
  3. Choisissez la plus petite amélioration (ou lift) à détecter, en privilégiant des effets plus importants si le trafic est limité.
  4. Calculez la taille de l’échantillon, puis la durée, et arrondissez à des semaines complètes.
  5. Créez la variante. Vous pouvez préparer et publier la modification rapidement dans l’éditeur de boutique Shopify, puis la lancer via votre outil d’A/B testing.
  6. Laissez tourner jusqu’à atteindre l’échantillon et la durée prévus. Ne jetez pas de coup d’œil en cours de route.
  7. Lisez le résultat sur votre métrique principale, vérifiez qu’il n’y a pas d’erreur de répartition de l’échantillon (sample ratio mismatch), et décidez.
  8. Qu’il soit gagnant ou perdant, utilisez ce que vous avez appris pour la prochaine hypothèse. Pour les tests sur les pages produits en particulier, notre guide sur l’A/B testing des pages produits Shopify vous explique comment faire.

L’optimisation des conversions est une boucle, pas un coup d’un soir. Les boutiques qui cumulent les gains sont celles qui font des tests rigoureux en continu et qui font vraiment confiance aux résultats.

FAQ

Combien de trafic me faut-il pour faire de l'A/B testing sur Shopify ?

Ça dépend de votre taux de conversion de base et de l'effet que vous voulez détecter. Avec une base de 2 %, détecter une hausse de 10 % demande environ 80 000 visiteurs par variante. En général, on vise autour de 1 000 conversions par variante. En dessous de 5 000 visiteurs mensuels environ, la recherche qualitative est souvent plus utile que les split tests.

C'est quoi le Minimum Detectable Effect (MDE) ?

Le MDE (effet minimum détectable) est la plus petite amélioration que vous voulez que votre test puisse détecter. C'est un facteur clé pour la taille de l'échantillon, et la relation est quadratique : diviser votre MDE par deux multiplie environ par quatre le nombre de visiteurs nécessaires. Les petites boutiques devraient fixer un MDE plus grand et tester des changements audacieux, car les petits effets nécessitent des échantillons énormes.

Combien de temps doit durer un test A/B sur Shopify ?

Au moins une semaine complète, et idéalement deux ou plus, pour que le test couvre un cycle commercial complet, incluant le comportement en semaine et le week-end. Surtout, laissez tourner jusqu'à atteindre la taille de l'échantillon que vous avez calculée à l'avance. Ne l'arrêtez pas plus tôt juste parce qu'une variante a l'air de gagner.

Pourquoi je ne devrais pas arrêter un test dès qu'il atteint la significativité statistique ?

Parce que le fait de vérifier sans cesse et de s'arrêter à la première lecture significative gonfle énormément votre taux de faux positifs. Des analyses ont montré que le peeking en continu peut pousser le vrai taux de faux positifs à environ 26 %, soit plus de cinq fois les 5 % prévus. Décidez de la taille de l'échantillon et de la durée à l'avance, et attendez.

Est-ce que je peux faire des tests A/B sur les prix sur Shopify ?

Pas avec la fonctionnalité native Rollouts de Shopify, qui teste les modifications de thème et de mise en page, mais pas les prix ou la logique des réductions. Pour tester les prix, il vous faut un outil tiers comme Intelligems ou Shoplift. Les forfaits pour tester les prix sont généralement plus chers et souvent destinés aux boutiques Shopify Plus.

Est-ce que l'A/B testing natif de Shopify me dit si un résultat est significatif ?

Non. Shopify Rollouts indique des métriques de performance comme le taux de conversion, le panier moyen et les sessions, mais il ne lance pas de test de significativité statistique ni ne déclare de gagnant. Vous devez juger la significativité vous-même avec un calculateur ou utiliser un outil tiers qui fait les statistiques pour vous.

Simeon's signature
Prêt à faire des tests pour booster les conversions de votre boutique ?

Footnotes

  1. VWO, “How to Calculate A/B Test Sample Size,” sur les quatre données d’entrée et la formule à deux proportions. https://vwo.com/blog/how-to-calculate-ab-test-sample-size/ 2

  2. CXL, “Statistical Power”: une puissance de 80 % est le standard par défaut, équilibrant le risque de faux positif et de faux négatif. https://cxl.com/blog/statistical-power/

  3. Sur la relation quadratique entre l’effet minimum détectable et la taille de l’échantillon. Chiffres calculés (environ 80 000 par variante pour une base de 2 % et un lift relatif de 10 % à 95 %/80 %) avec la formule standard à deux proportions ; les calculateurs varient selon les hypothèses. https://splitmetrics.com/resources/minimum-detectable-effect-mde/ 2

  4. CXL, “Stopping A/B Tests: How Many Conversions Do I Need?”: recommandation autour de 1 000 conversions, et sur le fait que la significativité statistique ne vaut pas validité. https://cxl.com/blog/stopping-ab-tests-how-many-conversions-do-i-need/ 2

  5. VWO, “Understanding Minimum Test Duration”: un minimum de 7 jours pour capturer un cycle hebdomadaire complet, souvent plus long. https://help.vwo.com/hc/en-us/articles/37026733636121-Understanding-Minimum-Test-Duration

  6. Evan Miller, “How Not to Run an A/B Test”: surveiller en continu et s’arrêter à la significativité peut faire grimper le vrai taux de faux positifs à environ 26 %. https://www.evanmiller.org/how-not-to-run-an-ab-test.html 2

  7. Sur les erreurs courantes en A/B testing, y compris les changements mineurs, un trop grand nombre de variantes, et le sample ratio mismatch. https://posthog.com/product-engineers/ab-testing-mistakes 2

  8. Sur l’A/B testing natif Shopify Rollouts : ce qu’il peut tester, qu’il ne teste pas les prix, qu’il indique les métriques sans test de significativité, et que les expérimentations sont réservées aux forfaits supérieurs. https://www.usestorepilot.com/blog/shopify-rollouts-ab-testing/

  9. Sur la personnalisation et le test du checkout, qui sont en pratique limités à Shopify Plus avec la checkout extensibility. https://www.intelligems.io/resources/blog/the-evolution-of-checkout-customization-is-here

  10. Google Optimize et Optimize 360 ont fermé le 30 septembre 2023. https://www.optimizely.com/optimize/

  11. Shopify, “How to Improve Ecommerce Conversion Rates”: le taux de conversion typique d’une boutique se situe entre 1,4 % et 3 %, avec de grandes variations selon la catégorie. https://www.shopify.com/blog/ecommerce-conversion-rate

  12. L’analyse d’Analytics-Toolkit sur 115 tests A/B a trouvé une hausse moyenne d’environ 4 %, la plupart des tests manquant de puissance ; la méta-analyse de GoodUI rapporte une hausse médiane proche de 5 %. https://blog.analytics-toolkit.com/2018/analysis-of-115-a-b-tests-average-lift-statistical-power/

Articles similaires