L’article original « Level 15: Blindtesting » a été écrit par Ian Schreiber et fait partie d’un cours de game design en ligne, publié sur le blog Game Design Concepts.

L’article original et cette traduction sont publiés sous licence Creative Commons (Attribution).

N’hésitez pas à visiter le blog de Ian Schreiber et suivre son compte Twitter.

~ ~ ~ ~ ~ ~ ~

Quand votre jeu est playtesté sans que vous (ou un autre designer du jeu) soyez personnellement présent pour observer, c’est ce qui s’appelle le blindtest¹. C’est le sujet que nous verrons aujourd’hui.

Readings

No readings for today. As before, if you know of any relevant readings you have encountered, post it as comments to this blog post, or on Twitter with the #GDCU tag.

Les challenges du blindtesting

Comme vous pouvez l’imaginer, le blindtesting pose beaucoup de problèmes comparativement aux playtests qui sont conduits en personne :

• Sans votre présence, n’importe quel problème rencontré par les joueurs est un obstacle qui les empêche de terminer.
• Peut-être pire, les joueur peuvent interpréter les règles de façon incorrecte et jouer quand même. S’ils ne sont pas au courant qu’ils jouent « mal » les résultats de vos tests peuvent être faussés, et les testeurs ne le sauront même pas.
• Le feedback est hautement variable ; comme vous n’avez plus de doutes maintenant, certains groupes de playtest sont meilleurs que d’autres. Ce problème empire quand vous n’êtes pas présent et ne pouvez pas poser des questions ciblées.
• Vous ne pouvez pas observer en temps-réel. La seule information que vous obtenez est que le groupe peut vous faire un rapport à posteriori en rétrospective. La fidèlité de l’information est bien plus basse que quand vous êtes présent.
• Mettre en place un blindtest prend un peu plus de temps. Vous ne pouvez pas simplement apporter votre prototype avec vous chez un ami et jouer tout de suite. Vous devez trouver un moyen de laisser une copie de votre jeu dans les mains de vos testeurs, et ensuite vous devez partir. Et puis vous devez attendre pendant que vos testeurs jouent à votre jeu à leur propre rythme, et ensuite finalement reviennent vers vous avec des résultats. Même dans le meilleur des cas, les résultats de blindtest peuvent prendre un jour ou deux pour vous revenir, ce qui est beaucoup plus qu’un playtest en personne que vous pouvez conduire en quelques minutes ou heures.

Le blindtesting est ainsi limité aux types d’informations qu’il peut fournir, et le calendrier sur lequel il peut le fournir.

Pourquoi le blindtest ?

Si le blindtest est si limité, pourquoi s’en inquiéter ? À quoi sert-il ?

C’est une technique que nous empruntons de la science. Il y a quelques temps, certains chercheurs ont remarqué que les résultats d’une expérience pouvaient être différents si les chercheurs étaient dans la pièce. Parfois, les sujets de test pouvaient dire ce qu’ils pensaient ce que les chercheurs voulaient entendre plutôt que ce qu’ils pensaient réellement. Parfois, les chercheurs pouvaient donner des indices non verbaux subtils que ni eux ni les sujets ne notaient consciemment, mais qui pouvaient changer les résultats des tests. Par exemple, si l’expérience est un test de goût entre deux sodas de grande marque, si les chercheurs savent quel verre contient quelle boisson et qu’ils connaissent ceux qu’ils veulent que les sujets prennent, ils peuvent soudainement trouver que tous les sujets de test choisissez le « bon » soda… mais seulement parce que les chercheurs leur disent accidentellement lequel choisir !

La solution à cela est la bien nommée expérience en double-aveugle, ou ni les chercheurs ni les sujets de test ne savent quelle est la « bonne » réponse. Cela élimine beaucoup de source de biais potentiels, en rendant les résultats d’un expérience plus valides.

Les playtests ont beaucoup en commun avec les expériences scientifiques. Dans les deux cas il y a l’hypothèse (« Je pense que ce jeu est fun »), une expérience est conçue (construire un prototype), l’expérience est conduite (le playtest), les résultats sont analysés. Le propos est à la fois de trouver plus d’information sur le fonctionnement du système que vous étudier.

Les blindtests, alors, sont la seule façon d’avoir une vraie idée de ce que votre jeu est « dans la nature » – c’est à dire, comment les joueurs réagiront s’ils l’ont juste acheté dans un magasin et y jouent pour la première fis, sans designer présent à leur table pour répondre à leurs questions.

Quand faire un blindtest ?

Parce que vous pouvez retirer si peu d’information d’un blindtest, il n’est pas adapté pour un premier test quand votre jeu est dans un état brut (les testeurs pourraient soit rencontrer des problèmes, soit être incapables de continuer, et vous auriez à dépenser beaucoup de temps pour quelque chose que vous auriez pu découvrir plus vite avec un playtest en personne. Le blindtest est plus adapté vers la fin du développement, quand vous aurez déjà un haut degré de confiance dans votre jeu.

Le but du blindtest est d’attraper les problèmes non évidents que vous n’aviez pas attrapés dans vos playtests en personne, parce que vous aviez accidentellement biaisé les résultats du test en étant disponible pour aider et répondre aux questions. Même si vos playtesteurs n’ont jamais eu à vous demander quoi que ce soit, le simple fait de savoir que vous pouviez suffisamment les détendre pour bien apprendre toutes les règles, où ils pourraient autrement être troublés et abandonner. Ou, vous pourriez donner un élément d’information clef lorsque vous présentez le jeu aux joueurs (« c’est un jeu d’enchères / paris ») qui n’est écrit nulle part et clarifie beaucoup les règles en créant des notions préconçues dans les esprits de vos testeurs. En votre absence, vous verrez jusqu’à quel point vos playtests en personne sont précis, et vous pourriez attraper certaines erreurs surprenantes que vous n’aviez pas noté auparavant.

Avec qui faire des blindtest ?

La plupart des jeux de plateau requièrent de nombreux joueurs. Pour des raisons pratiques, beaucoup de blindtests réalisés avec des jeux professionnels sont faits avec des groupes de joueurs réguliers. Certaines sociétés gardent une liste de groupes de volontaires et sollicitent leur liste privée de playtesteurs ; ils leur enverront par avance des copies de leurs jeux en échange de feedback. Pour notre propos, cela ne nous sera pas utile, parce que la plupart d’entre vous ne travaillez pas dans une telle société et n’avez pas de base de données de volontaires à appeler à l’importe quel moment.

Dans l’idéal, votre blindtest devrait être fait avec des gens qui sont dans votre public cible pour votre jeu. Si vous faites un jeu pour enfants, votre blindtest devrait impliquer des enfants dans votre tranche d’age cible (et peut-être leurs parents). Si votre jeu est fait pour les gens qui sont déjà des joueurs avides de jeux Euro, vous ferez mieux de trouver un groupe qui joue à ces types de jeux régulièrement. Et ainsi de suite.

Il y a plusieurs façons de trouver des blindtesteurs pour votre Projet de Design de ce cours :

• Votre réseau social d’amis, famille et collègues. Ces personnes peuvent vivre près de chez vous, dans une autre ville ou même dans un autre pays. Comme vous n’avez pas à être présent, au moins cette fois ci, la géographie n’est pas une barrière.
• Les autres personnes qui suivent ce cours. Si vous avez déjà un groupe de playtest local que vous n’avez pas encore utilisé auparavant, vous pouvez passer un appel à l’aide sur Twitter ou les  forums. Offrez un échange de test en aveugle : vous testerez en aveugle leur jeu s’ils vous retournent la faveur avec le votre.
• En dernier ressort, vous pouvez regarder à l’extérieur de ce cours pour d’autres forums de discussion ou d’autre espaces de rencontre en ligne pour les designers de jeux de plateau et / ou playtesteurs, et voir s’ils y a une méthode pour recruter les blindtesteurs.

Comment blindtester ?

Avec les tests en personne vous pouvez vous permettre d’être un peu négligent. Peut-être que vous avez accidentellement oublié certains de vos composants du jeu à la maison, ou une partie de vos règles ne sont pas très claires et ont besoin de clarification. Ce n’est pas l’idéal, mais une sessions de playtest qui rencontre ces problèmes peut être sauvée quand vous êtes là. Avec le blindtest, vous n’avez pas ce luxe, alors vous devez être très prudent de faire en sorte que vos testeurs aient tout ce dont ils ont besoin pour donner à votre jeu un playtest correct. Cela inclut :

• Un ensemble complet de composants de jeu. Vérifier deux ou trois fois pour faire en sorte que vous ayez tout ce dont les joueurs ont besoin, ensemble, dans un seul paquet.
• Une liste de tout ce que votre paquet devrait contenir, de manière à ce que les testeurs puissent vérifier par eux même que rien ne manque (et si c’était le cas, cela leur donnera au moins un indice de ce qu’ils doivent amener en remplacement).
• Un ensemble complet des règles qui décrivent comment jouer. (La liste des composants peut simplement être une partie des règles).
• Un ensemble d’instructions séparées sur comment conduire le test en aveugle. Est-ce qu’il y a quelques chose en particulier que vous voulez voir les joueurs faire ? Est-ce que vous voulez simplement les voir s’ils peuvent jouer du début à la fin du jeu ? Voulez-vous savoir s’ils trouvent le jeu agréable ? Voulez vous qu’ils trouvent des exploits dans les règles et des déséquilibres dans le jeu ?
• Un ensemble final d’instructions sur ce qui devrait être fait à la fin du playtest. Comment les testeurs devrait vous contacter (téléphone, email, etc. ) ? Que devraient-ils vous dire quand ils vous contactent – si vous ne leur donnez pas une liste de questions auxquelles répondre, vous aurez uniquement ce qu’ils veulent bien vous dire, en rendant les résultats un peu moins précis qu’ils pourraient l’être. Réfléchissez un peu sur quelle information serait la plus utile à avoir, quels types de feedback sont plus importants pour vous… et demandez-le !

Comment remettre votre paquet entre les mains des playtesteurs ? S’ils habitent près de chez vous, c’est aussi simple d’emmener votre prototype jouable et le donner directement. Si vos blindtesteurs n’habitent pas près de chez vous, cela présente des challenges supplémentaires. Vous avez deux options ici.

D’abord, vous pouvez envoyer par la poste votre prototype. Selon où ils résident, cette étape seule peut ralentir les choses considérablement (sans mentionner les rendre plus coûteuses), alors planifiez votre calendrier en fonction. Si vous voulez que votre prototype soit retourné, pensez à inclure un paquet de retour dans le paquet principal, déjà adressé à votre nom et avec les frais de port payés.

En second, vous pouvez tout faire par email. Envoyez des documents qui peuvent être imprimés et assemblés pour faire un prototype jouable, et incluez des instructions sur comment tout imprimer. Faites tout ce que vous pouvez pour réduire le volume de travail qui doit être fait par les playtesteurs au final. Après tout, vous leur demandez déjà de prendre sur leur temps sous la forme d’un playtest ; en leur demandant une heure ou deux d’impression et de découpe de cartes en papier ajoute l’insulte au dommage. De la même façon, essayez de garder le coût des matériaux aussi bas et la disponibilité haute si vous attendez que vos blindtesteurs vous fournissent la leur. Par exemple, n’insistez pas sur le fait imprimer sur des cartes fortes (ce qui peut demander un voyage spécial au magasin d’impression) quand l’impression sur du papier classique suffira.

Contingence de planification

Dans le domaine, les studios de jeu ne se reposent pas sur un seul groupe de blindtest, mais plusieurs. En dehors de la raison évidente que plus de tests vous donnent plus des données, il y a aussi le problème que les groupes de blindtests ne sont pas fiables. Sans votre personne dans la même pièce, ils peuvent prendre un certain temps pour organiser un playtest, ou oublier leur obligations, ou ils peuvent simplement être tellement occupés avec d’autres choses dans leur vie que votre jeu reçoit une priorité basse. Ou peut-être que vous enverrez votre jeu par la poste et il sera perdu. Dans ce cours, quand vous mettez en place un blindtest, vous pouvez vous trouver dans la situation frustrante ou attendre pour les résultats des tests qui ne viennent simplement pas… ou au moins, ils peuvent ne pas arriver dans le temps que vous avez décidé pour vous même.

Vous avez trois options pour gérer de problème potentiel. C’est à vous de décider quelle méthode s’adapte le mieux à votre situation personnelle.

1. Vous pouvez mettre en place plusieurs groupes de blindtest. En règle de base, trois est un nombre relativement sûr. De cette façon, si un ou deux groupes ne suivent pas, vous aurez au moins quelques résultats. (Notez que si vous faites un « échange de blindtest » avec d’autres participants à ce cours, cela signifie que vous testerez trois autres projets, alors soyez certain que vous avez le temps pour cela).
2. Vous pouvez choisir un blindtesteur que vous connaissez et savez être fiable. Si vous envoyez votre jeu à un ami qui est très organisé et tient toujours ses promesses, vous pouvez avoir confiance qu’il reviendra vers vous quand il dit qu’il le fera.
3. Vous pouvez croiser les doigts et espérer que rien de mauvais n’arrivera. Cette troisième méthode n’est pas recommandée pour les projets professionnels.

Homeplay

Your homeplay this past Thursday was to arrange for a playtest session with non-designers. You may have already performed this playtest, or you may have just scheduled it to take place over the first part of this week, but that playtest session should be concluded before this Thursday, August 20, noon GMT.

In addition, you should find a blindtest group and arrange for a blindtesting session, to take place after the non-designer playtest. If possible, you should plan to have blindtest results on or before Thursday, August 27.

Feedback

Do you know of any great articles on blindtesting? As you conduct your own session, or you’re your own personal experience if you’ve done this before, have you found any helpful tips or tricks that you’d like to share? Post in the comments on this blog, or on Twitter with the #GDCU tag.

Article précédent : Niveau 14 – Jouer avec des non-designers

Article suivant : Niveau 16 – L’équilibrage du jeu