Comment déterminer un effet détectable minimal pour le test AB avec le taux de clics comme métrique de succès?

1. Comment choisissez-vous l'effet détectable minimum?
2. Quel est l'effet détectable minimum par rapport aux tests d'hypothèse?
3. Lors de l'exécution d'un test A B, le bon moment pour déterminer les mesures de succès clés?
4. Comment sauriez-vous si une expérience B en ligne est réussie?

Comment choisissez-vous l'effet détectable minimum?

Définition d'un MDE approprié

Il doit être informé par les risques, les coûts et les attentes associés aux expériences sous-jacentes. Votre MDE minimum devrait être le plus petit effet qui justifierait la mise en œuvre du changement qui est testé. Bien sûr, vous pouvez toujours maîtriser le test pour en savoir plus.

Quel est l'effet détectable minimum par rapport aux tests d'hypothèse?

L'effet détectable minimum est la taille de l'effet définie par le chercheur qu'une évaluation d'impact est conçue pour estimer pour un niveau de signification donné. L'effet détectable minimum est une entrée critique pour les calculs de puissance et est étroitement lié à la puissance, à la taille de l'échantillon et aux budgets d'enquête et de projet.

Lors de l'exécution d'un test A B, le bon moment pour déterminer les mesures de succès clés?

Si vous lancez un test A / B pour surveiller les revenus générés par deux systèmes, vous devrez peut-être l'exécuter pendant des mois avant d'être confiant sur les impacts positifs ou négatifs de l'itération.

Comment sauriez-vous si une expérience B en ligne est réussie?

Prenez des mesures en fonction de vos résultats.

Si une variation est statistiquement meilleure que l'autre, vous avez un gagnant. Terminez votre test en désactivant la variation de perte de votre outil de test A / B.