Tests A/B pour le courriel à froid : que tester en premier

La plupart des équipes commencent leurs tests A/B en courriel à froid par l'objet, parce que c'est l'élément le plus facile à modifier et le plus facile à imaginer important. C'est aussi, la plupart du temps, le mauvais point de départ, puisque l'objet ne décide que si un message est ouvert, et l'ouverture n'est le résultat sur lequel personne n'est réellement payé.

Pourquoi l'objet est le mauvais premier test

Un test d'objet mesure un événement étroit dans une chaîne qui doit encore réussir plusieurs autres étapes avant de produire une réponse. Même une hausse réelle et statistiquement solide du taux d'ouverture peut ne produire aucune hausse mesurable du taux de réponse si c'est le corps du courriel qui freine réellement la performance. Tester l'objet en premier optimise la variable qui a le moins d'effet sur la mesure qui compte vraiment, et ça consomme un volume de liste qui aurait pu servir à tester quelque chose avec un plafond bien plus élevé.

Les variables qui méritent d'être testées avant l'objet

Chacune de ces variables est plus proche de la décision réelle du prospect que l'objet, ce qui explique pourquoi elles font bouger le taux de réponse de façon plus fiable une fois correctement testées.

Comment mener un vrai test au volume du courriel à froid

Les listes de courriel à froid ont rarement le volume que supposent les tests marketing grand public. Tester cinq variables à la fois sur une liste de 2 000 divise l'échantillon si finement qu'aucun résultat ne sera statistiquement significatif. Choisissez une seule variable, gardez tout le reste constant, y compris le segment de liste lui-même, et faites tourner chaque variante sur au moins quelques centaines d'envois avant de conclure quoi que ce soit. Mesurez le résultat principal comme le taux de réponse sur l'ensemble de la séquence, pas le taux d'ouverture d'un seul contact, car le suivi des ouvertures est peu fiable et c'est la séquence, pas le message isolé, qui produit réellement une réponse.

Les erreurs de test les plus courantes

L'erreur la plus fréquente est de changer plus d'une variable entre les deux versions comparées, ce qui rend impossible de savoir quel changement a causé une différence de résultat. La deuxième est de conclure un test avec un échantillon trop petit, souvent après seulement quelques dizaines d'envois, ce qui produit un résultat dicté par le bruit plutôt que par un effet réel. La troisième est de tester sur une liste mixte qui couvre plusieurs segments ou personas, ce qui peut masquer un effet réel dans un segment derrière un résultat plat dans un autre. La quatrième est de faire tourner un test trop peu de temps et de manquer les effets qui n'apparaissent qu'une fois le pic du jour d'envoi retombé, les réponses tardives arrivant sur une à deux semaines ; ne concluez qu'une fois la fenêtre de réponse complète de la séquence refermée.

La place de l'objet une fois les variables plus lourdes réglées

Le test d'objet garde sa place, simplement plus tard dans le processus, une fois que l'identité de l'expéditeur, l'approche de personnalisation et l'ampleur de l'appel à l'action fonctionnent déjà bien. À ce stade, un test d'objet affine un système qui fonctionne déjà plutôt que de tenter de compenser un corps et une offre qui ne convertissent pas, et l'effet qu'il produit est réel plutôt qu'une erreur d'arrondi prise pour un signal.