« J’ai eu plus souvent tort que raison » : comment John Rowley de Greene King a démontré la valeur de l’expérimentation

Le principe était simple : plutôt que d’utiliser les données uniquement pour guider une décision, tester si cette décision résiste à l’épreuve des faits.

La partie la plus difficile consistait à démontrer la valeur commerciale de cette approche, notamment en expliquant pourquoi découvrir ce qu’il ne faut pas faire peut être presque aussi précieux que trouver de nouveaux leviers de croissance.

Q. Vous utilisiez déjà massivement les données chez Greene King. Qu’est-ce qui manquait ?

Ce que nous ne faisions pas, c’était remettre scientifiquement en question ce que nous pensions savoir. Nous voulions nous demander :

• Est-ce toujours vrai ?
• Dans quelle mesure ?
• Jusqu’où pouvons-nous pousser cette connaissance ?
• Quelle importance cela a-t-il réellement par rapport au reste de ce que nous croyons savoir ?

L’expérimentation nous a permis de répondre à ces questions.

Q. Qu’avez-vous dû démontrer pour obtenir l’adhésion de la direction ?

Nous avions déjà obtenu un accord de principe et l’autorisation de lancer une preuve de concept.

Nous l’avons évaluée selon quatre critères :

• la valeur commerciale ;
• le bénéfice pour les clients ;
• les apprentissages pour l’entreprise ;
• l’impact pour les collaborateurs.

L’argument commercial devait être concret. Nous avons donc traduit les réservations en chiffre d’affaires et en marge afin de les intégrer dans notre modèle coût-bénéfice.

Mais nous voulions également savoir si l’expérimentation pouvait :

• améliorer le parcours client ;
• nous apporter des connaissances inédites ;
• créer des opportunités d’apprentissage et de développement pour les équipes.

De l’idée initiale à la validation de la preuve de concept, il s’est écoulé entre huit et douze mois. À l’issue de cette période, nous disposions d’un bilan coût-bénéfice suffisamment convaincant pour retourner devant le conseil d’administration

Q. Y a-t-il eu un moment décisif où le dossier a vraiment été gagné ?

Oui, il y a eu un moment clé. Nos premiers tests généraient de nombreux gains modestes et progressifs. Pourtant, tout le monde voulait voir un chiffre spectaculaire. Or, ce n’est généralement pas ainsi que fonctionne l’optimisation du taux de conversion (CRO).

J’appelle cela « la mort par mille tests » : de nombreuses petites améliorations qui, accumulées, deviennent significatives. À l’inverse, l’approche « big bang » consiste à espérer qu’un seul test produise un impact majeur.

Nous avons alors collaboré avec l’équipe produit en charge des réservations pour tester l’une de ses évolutions majeures. L’impact a été huit à dix fois supérieur à tout ce que nous avions observé jusque-là sur un test unique.

Une fois extrapolés sur une année complète et l’ensemble de nos établissements, les résultats représentaient plus de 100 % du bénéfice commercial que nous devions démontrer. C’est à ce moment-là que nous avons su que le dossier était solide.

Q. Qu’a apporté le programme d’expérimentation ?

Depuis mon arrivée dans l’entreprise, nous avons enregistré une croissance significative des réservations d’une année sur l’autre, l’expérimentation étant l’un des principaux leviers, aux côtés d’autres initiatives digitales.

Mais l’autre moitié de l’histoire concerne ce que nous n’avons pas déployé. Les tests nous ont également empêchés de mettre en production des changements susceptibles de nous faire perdre du chiffre d’affaires. Nous avons même attribué une valeur commerciale à ces pertes évitées, et elle est presque aussi importante que les revenus supplémentaires générés par les réservations.

C’est plus difficile à démontrer car cela n’apparaît jamais dans le compte de résultat, mais d’un point de vue économique, c’est essentiel.

Le défi n’est plus de trouver des idées, mais de déterminer :

• lesquelles tester ;
• dans quel ordre ;
• à quelle vitesse exploiter les enseignements obtenus sur les contenus, les produits et les parcours clients.

Pour l’exercice fiscal 2027, nous prévoyons de renforcer la catégorisation, la priorisation et la gouvernance de notre portefeuille de tests.

Q. Cela implique-t-il d’accepter davantage de se tromper ?

Absolument. Nous essayons de ne pas qualifier les tests de « réussites » ou « d’échecs ». Lorsqu’un test invalide une idée, c’est tout de même un apprentissage. Je suis moi-même mauvais sur ce point : je continue souvent à demander si quelque chose « a marché ». Mais les mots ont leur importance.

Les collaborateurs et collaboratrices doivent pouvoir proposer une idée et découvrir qu’elle est incorrecte sans que cela soit considéré comme un échec. Par ailleurs, savoir ce qui s’est passé ne suffit pas. Nous voulons comprendre pourquoi.

Et savoir si les résultats varient selon :

• le canal ;
• le segment de clientèle ;
• la marque ;
• l’offre ;
• le moment ;
• ou l’étape du parcours client.

Un même test peut produire un résultat dans un contexte et l’inverse dans un autre. Obtenir un véritable enseignement demande souvent beaucoup d’analyse.

Q. Avec le recul, comment construiriez-vous aujourd’hui ce sujet ?

Je commencerais par les paris à fort impact avant d’enchaîner avec des milliers de petits tests. Lorsque l’on cherche à obtenir des investissements, il faut identifier une opportunité importante capable de démontrer rapidement la valeur de la démarche.

Une fois cette valeur prouvée, on peut ensuite adopter un rythme régulier de petits tests incrémentaux. Ensuite, il faut démarrer simplement, car les apprentissages se cumulent.

Prenons la photographie :

• Les personnes, les produits ou les lieux génèrent-ils le plus de réservations ?
• Si les personnes sont les plus performantes, vaut-il mieux montrer une seule personne, un couple ou un groupe ?
• Si les groupes fonctionnent mieux, regardent-ils un match, prennent-ils un verre ou partagent-ils un repas ?

Puis on combine ces enseignements avec :

• les messages ;
• les appels à l’action ;
• le positionnement des contenus ;
• différents parcours utilisateurs ;
• différents segments de clientèle.

Une question simple devient alors très vite un ensemble de données vaste et complexe. Il faut apprendre à penser l’expérimentation de manière multidimensionnelle, ce qui est inconfortable au départ.

Q. L’IA peut-elle accélérer l’expérimentation ?

L’utilisation de l’IA dans l’expérimentation n’est pas totalement nouvelle. Les approches de type multi-armed bandit utilisent déjà le machine learning pour ajuster la répartition du trafic entre différentes variantes, en conciliant performance commerciale et robustesse statistique. Ce qui a changé, c’est la démocratisation de l’IA et la meilleure compréhension de ses capacités.

L’IA générative ouvre de nouvelles perspectives :

• créer et déployer des expérimentations plus rapidement ;
• produire davantage de variantes créatives à tester ;
• tirer plus d’enseignements des résultats.

À terme, elle pourrait également permettre de combiner les enseignements issus de l’expérimentation avec les préférences individuelles des clients. Nous développons actuellement nos capacités d’expérimentation et pensons que l’IA nous aidera à gérer un volume croissant de tests tout en accélérant les analyses approfondies.

L’aspect le plus intéressant reste la combinaison entre l’intelligence artificielle et l’intelligence humaine. L’IA excelle dans l’analyse de données complexes et multidimensionnelles. Les humains restent meilleurs pour imaginer les hypothèses créatives réellement dignes d’être testées.Utilisées ensemble, elles accélèrent déjà le rythme de l’expérimentation, et cette dynamique ne fera que s’amplifier.