Des saucisses et du playtest

[T]

Un article du blog du Mark Pitcavage

http://desperationmorale.blogspot.com/2010/01/making-sausages.html

[Disrupt Michael]

Intéressant.

J'aime bien le passage de son désaccord avec la philosophie de Glenn Houseman.
Pour ma part, je suis plus de l'avis de Glenn que de celui de Mark: si le scénario est pourri à la base, 20 playtests n'y changeront rien.
Selon Mark P., plus les playtesters sont expérimentés en terme de jeu, plus le playtest est valable. C'est vrai. Mais ce qu'il ne faut pas oublier avant tout, c'est que plus le concepteur du scénario est expérimenté plus le scénario fonctionnera bien ludiquement et sera plaisant à jouer.

[T]

Pour jauger de la qualité d'un scénario, on pourrait utiliser deux méthodes:

Option A) une approche par l'offre (estimation de la qualité des inputs entrant dans le processus de production)
Option B) une approche par la demande (estimation de la qualité du produit final par les consommateurs)

Dans l'approche A, on peut créer un indice de qualité si on dispose des infos nécessaires. Je vois bien quatre variables:

Qualité d'un scénario = (qualification du concepteur) x (temps passé par le concepteur) x (qualification moyenne des playtesteurs) x (nombre de playtesteurs)

Toutes les variables sont normées: 0 (faible) et 1 (élevée).

Dans l'approche B, on fait une estimation de la qualité sur la base du produit fini. L'approche B est plus facile, on ne regarde pas comment les saucisses sont préparées mais on se centre sur le produit final, qui est observable. La qualité est une vision subjective dépendant de trois paramètres.

- historicité
- équilibre
- fun

Chacun peut moduler les poids affectés à ces critères suivant ses préférences. Moi, c'est H15% / E50% / F35%.

T, professeur de pataphysique à ses heures

[Disrupt Michael]

Pour jauger de la qualité d'un scénario, on pourrait utiliser deux méthodes:

Option A) une approche par l'offre (estimation de la qualité des inputs entrant dans le processus de production)
Option B) une approche par la demande (estimation de la qualité du produit final par les consommateurs)

Dans l'approche A, on peut créer un indice de qualité si on dispose des infos nécessaires. Je vois bien quatre variables:

Qualité d'un scénario = (qualification du concepteur) x (temps passé par le concepteur) x (qualification moyenne des playtesteurs) x (nombre de playtesteurs)

Toutes les variables sont normées: 0 (faible) et 1 (élevée).

Dans ce cas si une des variables est nulle, la qualité est forcément de 0. Il y a donc deux catégories de scénarios les nuls (0) et les bons (1).

Trop mathématique pour moi.

Je préfère l'approche B. Pour moi, la variable équilibre est un élément de la variable fun (qui doit occuper 99% de ma considération).
L'historicité c'est bien, mais pas primordial, surtout si elle occupe une part importante au détriment du fun.

[T]

Pour répondre à ta remarque, la variable va prendre toutes les valeurs entre 0 et 1, mais c'est peu probable qu'on attribue une note zéro à un paramètre (ou alors, par exemple, c'est qu'il n'y a pas eu de playtesteurs du tout!).

Je préfère l'approche B. Pour moi, la variable équilibre est un élément de la variable fun (qui doit occuper 99% de ma considération).

Pour moi, l'équilibre est une qualité en soi, c'est pour cela que je la découple du facteur fun. On peut avoir un scénario équilibré, mais pas fun et vice-versa. Je mets simplement plus de poids dans la valeur "équilibre" que dans la variable "fun" dans le calcul de la note globale.

[Fridtjof]

Je tiens à dire qu'après une journée passée dans les Penalized Least Square Regression Methods et autres Robust Optimization Algorithms les derniers mots que j'avais envie de lire sur le forum sont ceux-ci:

la variable va prendre toutes les valeurs entre 0 et 1 [..] plus de poids dans la valeur [...] calcul de la note globale [...] estimation de la qualité des inputs [...] toutes les variables sont normées  [...] moduler les poids affectés à ces critères

Merci les mecs, vous m'avez achevé.

Plus sérieusement, l'article de Mark donne quelques axes de réflexion utiles. Intuitivement j'aurais plus confiance dans le travail d'un petit groupe de joueurs se connaissant bien que dans un modèle de playtest certes plus large, mais dont les résultats sont moins fiables. Quand un designer recoit un résultat entre deux joueurs dont il connaît bien la valeur et le style de jeu ca lui est sans doute plus utile que quand ces joueurs lui sont inconnus. J'avoue qu'en ce qui concerne la qualité d'un scénario je n'aurais confiance (ou pas!) que dans l'avis de gens que je connais.

Concernant les trois critères de qualité proposés je trouve qu'il est difficile de juger de  l'équilibre d'un scénario car ca dépend fortement de la compétence des joueurs: certains scénarios m'apparaissaient pro-X jusqu'à ce que je les joue contre un type qui utilise les bonnes tactiques, ce qui changeait la donne. Il se peut très bien que quelques très bons joueurs concoivent un scénario complexe et bien équilibré, mais que la majorité considèreront comme déséquilibré simplement parce que certaines subtilités leur échappent. Ou vice-versa, un scénario peut avoir une bonne réputation jusqu'à ce qu'il soit disséqué par quelques experts dans un tournoi et que des failles apparaissent.

Moi ce que j'aime bien dans un scénario c'est justement la subtilité. Avec l'expérience il y a certains scénarios qu'on finit par cerner au premier abord, c'est-à-dire qu'on voit assez vite "ce qu'il faut faire" pour gagner (ce qui n'est absolument pas une garantie de victoire!) Et puis d'autres où là par contre c'est le néant, vraiment impossible de se décider sur tel ou tel choix tactique car la situation est trop complexe ou inhabituelle.

Par exemple ce soir on joue Krupki Station avec MisterT, j'ai les russes et je ne suis absolument pas satisfait de mon plan, mais rien à faire je ne vois pas d'alternative viable. Pour rester dans le ton du thread:

(scénario complexe + plan foireux) x MisterT = grosse claque en perspective.

[T]

Par exemple ce soir on joue Krupki Station avec MisterT, j'ai les russes et je ne suis absolument pas satisfait de mon plan, mais rien à faire je ne vois pas d'alternative viable. Pour rester dans le ton du thread:
(scénario complexe + plan foireux) x MisterT = grosse claque en perspective.

Pour appliquer les critères, Krupki est faible sur l'historicité, mais il me plait bien question fun et a l'air plutôt pas mal question équilibre.
Ton jugement me rassure, car çà tendrait à montrer que j'ai bien fermé toutes les portes/axes d'attaque possibles. Mais, bon, on verra...

[T]

Sur le forum US, Matthias Ronnblom a actualisé son petit programme bien utile qui mesure l'équilibre des scénarios en se basant sur le ROAR. Une valeur de 10% veut dire que le scénario est 60/40%.
Deux remarques:
- les scénarios les plus joués (ceux dans la tranche 100-499) sont aussi les plus équilibrés, ce qui montre un certain attrait du public pour les scénarios équilibrés (seul les scénarios ayant plus de 6 parties sont repris dans le calcul)
- les scénarios officiels de MMP réalisent une très bonne performance. Ils sortent souvent avec du retard, mais le résultat en vaut la peine.

Joué entre X et Y fois-Nombre de scénarios–Equilibre apparent
Toutes publications
6-9         389            19.5%
10-14         306            16.6%
15-19         192            14.3%
20-29         267            13.6%
30-49         281            10.8%
50-99         230            8.8%
100-499          108            5.6%

6-499         1773            10.0%

AH/MMP scénarios officiels
6-499         113            8.0%

ASL Journal
6-499         111            8.5%

ASL Annual
6-499         120            10.1%

Schwerpunkt+RPT
6-499         172            9.2%

Friendly Fire
6-499         40            7.9%

Critical Hit
6-499         70            11.1%

Fanatic Entreprises
6-499         16            15.6%

Le Franc Tireur
6-499         36            13.2%

Tactiques
6-499         51            11.2%

Windy City Wargamers
6-499         5            5.1%

Time on Target
6-499         36            18.4%

Dispatches from the Bunker
6-499         51            11.6%

East Side Gamers
6-499         20            13.6%

ASLUG
6-499         22            10.1%