Crunchez vos adresses URL
|
Rejoignez notre discord
|
Hébergez vos photos
Page 1 sur 2 12 DernièreDernière
Affichage des résultats 1 à 30 sur 46
  1. #1
    Sommaire

    Partie 1 : Metascore et Userscore des jeux PC
    - Les jeux sont-ils vraiment notés de 0 à 100 ?
    - La presse et les utilisateurs notent-ils de la même façon ?
    - La qualité des jeux baisse-t-elle d'année en année ?
    - À quel moment de l'année faut-il regarder les nouvelles sorties ?

    Partie 2 : Metascore et Userscore des jeux console
    - Sur quelle consoles les jeux sont-ils les meilleurs ?
    - Utilisateurs et presse notent-ils de la même façon sur console que sur PC ?
    - Comment les utilisateurs évaluent-ils les jeux console par rapport aux journalistes ?


    En lisant un post de Kimuji sur le topic d'à côté qui pointait la différence entre Metascore et Userscore sur Fallout 4, j'ai eu envie de faire quelques stats sur les notes Metacritic des jeux. Un peu de traitement des ~3000 entrées de jeux PC sur Metacritic ayant au moins 7 reviews presse plus tard, voici quelques résultats intéressants.


    Les jeux sont-ils vraiment notés de 0 à 100 ?

    La rumeur veut que les sites de jeux vidéos aient tendance à surnoter, autrement dit, à ne pas utiliser tout "l'espace" de notation - aboutissant à considérer un jeu à 6/10 (ou 12/20) comme vraiment pas terrible par exemple. Rien de mieux pour avoir les idées claires que de bonnes vieilles statistiques - idéalement, une "bonne" distribution de notes devrait être une gaussienne centrée sur la moyenne - bon, allez, si on admet un peu de surnotage, une gaussienne centrée un peu au-dessus de la moyenne.

    Alors, pour commencer, quelle est la tranche metascore où l'on retrouve le plus de jeux, hmm ? Autour de 50 ? 60 ?...


    (vous excuserez les graphes en anglais, une habitude au cas où j'aurais besoin de les utiliser ailleurs ; ça devrait rester très compréhensible...)

    Eh oui, le pic est quelque part entre 70 et 80 (pour être exact, le metascore moyen est de 71)... et la distribution a quand même une tête de gaussienne bien déformée, avec une traînée assez longue côté gauche et, étrangement, une chute abrupte côté droit - rares sont les jeux à faire une unanimité au-dessus de 90%.

    Bouh, bouh, journalistes, tous des corrompus vendus aux marketeux des grands éditeurs qui surnotent à fond, heureusement que les utilisateurs sont là pour noter plus sérieusement ! Alors, faisons la même chose avec les userscores (qui sont eux évalués entre 0 et 10, pour une raison que j'ignore)...


    Mouais, on a beau dire, ça aussi une sale tête avec un pic encore plus prononcé autour de 8 - de façon amusante, le userscore moyen s'élève à 7,1, soit... pareil que le metascore moyen. Alors que les notes moyennes autour de 8 abondent, dépasser les 8,5 et surtout 9 est là encore plus improbable que dans les reviews presse.

    Finalement, quand on voit ces distributions, que ce soit en metascore ou userscore, on n'est pas loin de la vérité en considérant que les gens notent en réalité entre 5 et 10 : un jeu noté 6/10 est en réalité dans les 20% des jeux les plus mal notés, que ce soit selon le metascore ou le userscore...



    La presse et les utilisateurs notent-ils de la même façon ?

    Bon, la réponse est évidemment non, ou plutôt, ça dépend des jeux, mais dans quelles proportions exactement ?

    Regardons d'abord la répartition des jeux en fonction de la différence entre leur metascore et leur userscore (ou plus précisément, entre leur metascore et 10 fois leur userscore)


    Eh, c'est pas si mal finalement, hein ? D'ailleurs, quelle est la différence la plus fréquente (le pic au milieu) ? Je vous le donne entre mille... c'est 0 ! Autrement dit, il est plus fréquent pour un jeu d'avoir un metascore et un userscore identiques que n'importe quel écart dans un sens ou dans l'autre - et lorsqu'il y a un écart, il est généralement faible finalement...

    Par curiosité, intéressons-nous aux extrêmes : quels sont les jeux les mieux évalués par la presse par rapport aux utilisateurs (ceux tout à droite du graphe plus haut) ?


    Marrant comme on retrouve pas mal de FPS (dont 3 Call of Duty) ; dans les autres jeux présents, on peut remarquer la présence du SimCity de sinistre mémoire, de Payday 2 sûrement plombé par la récente shitstorm autour de la vente de costumes, de Batman: Arkham Knight et son portage PC horrible, de deux extensions pour RollerCoaster Tycoon 3 dont les utilisateurs les plus critiques n'ont étrangement pas fait part des raisons de leur déception et de deux mégahits de Blizzard, Diablo III et Hearthstone.

    Et côté jeux les moins bien évalués par la presse par rapport aux utilisateurs ?


    Là j'avoue que la plupart des jeux me sont inconnus ou presque, à part Victoria, un jeu Paradox dont je peux imaginer que la complexité ait rebuté les critiques presse tout en étant un hit chez les fans du genre...

    Bon, c'est bien beau de regarder la distribution des écarts, mais en plottant l'un contre l'autre (du verbe plotter, anglicisme de plot, pas peloter, bande de pervers) le metascore et le userscore :


    Alors, comme on l'avait vu un peu plus haut, les écarts ne sont pas siiii délirants, la grosse masse de points ne s'écarte pas trop d'une droite userscore = metascore/10 (et s'accumule autour des notes à 70-80 comme vu encore plus haut). Mais ce qui est difficile à discerner dans ce nuage de point, c'est la position relative de tous ces points par rapport à cette fameuse droite userscore = metascore/10 - en d'autres termes, est-ce qu'en général les utilisateurs notent mieux que la presse ou l'inverse ?

    La régression linéaire (et son équation) apportent quelques renseignements. L'ordonnée à l'origine (2,3671) indique que les utilisateurs ont tendance à nettement mieux noter les très mauvais jeux, par contre, la pente de la régression (0,0666) est inférieure à 0,1, ce qui veut dire qu'au fur et à mesure que le metascore (et le userscore) augmente, cet excès de générosité s'amenuise. La régression linéaire coupe la droite y = 0,1x à peu près point d'abscisse 71 - autrement dit, en-dessous de 71 de metascore, les utilisateurs ont tendance à mieux noter les jeux que la presse, et au-dessus la presse a tendance à mieux noter que les utilisateurs. Bref, meilleur est le jeu, plus il est difficile d'avoir une unanimité des joueurs plutôt que des critiques (ce qui n'est pas si surprenant en y réfléchissant, c'est sans doute un effet lié à la masse, avec bien plus de notes utilisateurs que de notes presse, les avis utilisateurs ont tendance à être moins "accordés").

    De façon amusante, on peut remarquer qu'on retrouve le même 71 qui est à la fois le metascore moyen et le userscore moyen - autrement dit, les utilisateurs sont plus cléments envers les jeux moins bons que la moyenne et plus sévères envers les jeux meilleurs que la moyenne.


    La qualité des jeux baisse-t-elle d'année en année ?

    OK, il y a certain effort mental à faire pour assimiler note metacritic et qualité d'un jeu (surtout d'une année à l'autre), mais faisons comme si.

    Qu'est-ce que ça donne si on regarde l'évolution des metascore et userscore moyen par année ? (attention, dans le graphe ci-dessous, pour mieux mettre en évidence l'évolution, l'échelle metascore/10*userscore est ramenée entre 60 et 90)


    Première chose à remarquer, il y a une nette baisse en 2000 qui va de pair avec une nette hausse des jeux évalués : c'est très probablement un artefact lié à la mise en place de metacritic (en 1999), qui doit s'appuyer sur un panel incomplet de jeux (les plus populaires sans doute) avant sa création. On va donc laisser de côté ces années.

    À partir de 2000, ce qui est frappant c'est de voir que les userscores ont tendance à baisser, passant d'environ 7,8 de moyenne en 2000/2001 à 6,8 en 2015, soit 1 point entier de moins, alors que les metascores restent finalement relativement stables dans le temps. Alors, les jeux sont-ils de plus en plus mauvais, ou les utilisateurs sont-ils de plus en plus exigeants ?... Ne voyant pas particulièrement de raison au premier, j'ai tendance à penser le second...

    En tout cas, tout ça est de nature à altérer un peu les commentaires plus haut sur l'écart de notation utilisateurs/presse - si les utilisateurs étaient nettement plus généreux il y a 15 ans qu'aujourd'hui, la différence d'opinion avec la presse n'est peut-être pas qu'une histoire de caractéristiques intrinsèques des jeux... mais j'avoue avoir un peu la flemme de faire des régressions linéaires ou multilinéaires sur les écarts utilisateurs/presse année par année pour en avoir le coeur net.

    Intéressant de voir aussi la hausse du nombre de jeux évalués à partir de 2011 - tout en gardant en mémoire que ce ne sont pas les sorties de jeux, mais ceux ayant été testés par au moins 7 magazines publiés par Metacritic. Peut-être qu'il y a plus de sorties de jeu (l'explosion des ventes indés ces dernières années évoquée dans le dossier Indiecalypse de CPC n'apparaît pas pourtant), ou plus probablement la presse teste davantage de jeux (ou que Metacritic intègre davantage de publications).


    À quel moment de l'année faut-il regarder les nouvelles sorties ?

    Tous les mois sont-ils égaux en termes de nouveautés vidéoludiques ? N'importe quel département marketing d'éditeur de jeux vidéos vous dira évidemment que non : l'automne est LA période de toutes les attentions, avec Noël qui approche, c'est le moment de sortir tout ce qu'on peut ! Mais est-ce que qualité rime avec quantité ?

    Regardons les metascore et userscore en fonction du mois de sortie :


    Sans surprise, septembre, octobre et novembre sont encombrés de sorties, pratiquement le double d'un mois ordinaire ; décembre et janvier sont nettement plus calmes, sans doute à cause de toutes ces sorties rushées pour les fêtes, de même que juillet et août (ce sont les vacances pour les joueurs, mais aussi surtout pour les éditeurs...).

    Côté notes les choses sont différentes en revanche. Les évaluations moyennes varient assez peu autour de 70, à deux exceptions près : une nette baisse en juillet (mais pas en août), pour une raison que je ne saurais expliquer, et au contraire de meilleurs scores de septembre à décembre - peut-être un effet des "hits" pour lesquels un gros succès est escompté et que les éditeurs vont tenter de placer à ce moment-là. Ou alors la mélancolie des automnes pluvieux font davantage apprécier le fait de trouver des jeux vidéos pour s'occuper, j'en sais rien.

    Dans l'ensemble, il y a peu de différence entre userscores et metascores, sauf vers août-septembre où les testeurs semblent plus enthousiastes - je n'y vois pas d'explication particulière mis à part un aléa des statistiques.

    Bref, amis gamers, surveillez les sorties en septembre, ne vous laissez pas subjuguer par la comm' autour des sorties d'octobre-novembre et partez en vacances l'esprit tranquille en juillet ! (en gardant en tête qu'on parle tout de même de différences de l'ordre de quelques points en moyenne...)
    Dernière modification par Cheshire ; 18/11/2015 à 19h59.

  2. #2
    Il manque à mon avis l'écart type pour les notes.
    D'instinct on a tendance à dire que les notes presses sont plus homogènes et les notes utilisateurs beaucoup plus binaires.

  3. #3
    Oui, ce serait intéressant de faire des stats plus détaillées là-dessus, le truc c'est que pour calculer ça il faudrait récupérer la liste des toutes les notes presse et utilisateur pour chaque jeu (potentiellement des centaines voire milliers), ce qui est une autre paire de manche que de simplement récupérer le metascore et userscore de chaque jeu...

  4. #4
    Est-ce qu'il n'y a pas aussi le fait que très peu de gens vont tester/jouer aux jeux réellement mauvais, qu'ils n'auront donc pas de note moyenne et n'apparaîtront pas dans les statistiques ?

  5. #5
    Et aussi est-ce que les gens vont noter un jeu mauvais ?
    Moi par exemple sur Steam, je ne donne mon avis que si le jeu m'a vraiment super plu, sinon je m'abstiens (en me disant que ce jeu n'était pas à mon gout mais qu'il pourrait plaire à quelqu'un d'autre).

    PS : sinon super boulot, et très intéressant, bravo !
    -----------------------
    Mon profil Steam

  6. #6
    Citation Envoyé par Catel Voir le message
    Est-ce qu'il n'y a pas aussi le fait que très peu de gens vont tester/jouer aux jeux réellement mauvais, qu'ils n'auront donc pas de note moyenne et n'apparaîtront pas dans les statistiques ?
    Comme savoir qu'un jeu est vraiment mauvais sans même y jouer ?... OK, il doit y avoir un certain biais en faveur des jeux avec un minimum de marketing et/ou de buzz qui fait que les pelletées d'indies fait à l'arrache ne sont pas testés ; cela dit, le fait que le rating moyen soit élevé, c'est vrai depuis les années 2000, donc avant la dématérialisation, à un moment où la presse devait tester pratiquement tout ce qui sort.

    - - - Updated - - -

    Citation Envoyé par jlm76 Voir le message
    Et aussi est-ce que les gens vont noter un jeu mauvais ?
    Moi par exemple sur Steam, je ne donne mon avis que si le jeu m'a vraiment super plu, sinon je m'abstiens (en me disant que ce jeu n'était pas à mon gout mais qu'il pourrait plaire à quelqu'un d'autre).

    PS : sinon super boulot, et très intéressant, bravo !
    Je pense que ça dépend des gens, d'autres vont au contraire plutôt prendre la peine de faire une review juste quand ils sont déçus, ou quand leur avis ne va pas dans le sens de l'avis majoritaire.

  7. #7
    C'était plutôt intéressant ce petit topo, clair en plus.

  8. #8
    Bon ça confirme donc le ressenti d'un surnotage généralisé.

  9. #9
    idéalement, une "bonne" distribution de notes devrait être une gaussienne centrée sur la moyenne
    Si on considère que la notation d'un jeu est un processus aléatoire. . . Ce qui serait totalement absurde.
    Et les distributions que tu montrent n'ont vraiment rien de gaussienne.

    Je vois pas vraiment pourquoi ce "surnotage" fait polémique en fait?
    Est-ce tout le monde n'est pas d'accord sur le fait qu'un jeu avec moins de 6/10 est mauvais?
    Si on compare à une notation d'école, c'est pareil. La note doit rendre compte des compétences de l'élève et non du classement par rapport aux autres élèves. Et s'il a moins de 5/10 on considère qu'il a échoué. Alors je vois pas pourquoi c'est un problème si on applique ce raisonnement aux JV.

    En ce qui concerne l'évolution des notes utilisateurs depuis ~2000 je dirais que c'est du à l'essort du démat' et des jeux indé à petit budget ainsi que les platformes comme HumbleBundle ou bien steam avec toutes leurs promos. Ce n'est pas que les joueurs sont de plus en plus exigeant mais qu'ils ont plus tendance à acheter des jeux pas trop cher sans préalablement lire de test pour se décider. Et il se trouve que du coup ils sont plus souvent déçus.

    Et ton plot métascore/userscore je me suis bien marré. Déjà tracer une droite à travers un nuage de points je trouve ça osé, mais donner une régression linéaire avec 5 chiffres "significatifs" c'est carrément abusé.
    Dernière modification par Kecheu ; 11/11/2015 à 15h44.

  10. #10
    Vous oubliez la principale critique adressée contre Metacritic pour les notes de presse: Metacritic fait un choix des tests mondiaux. Ce 71 de metascore moyen est probablement une donnée contrôlée par Metacritic, que ce site pilote d'année en année.

  11. #11
    Citation Envoyé par Kecheu Voir le message
    Si on considère que la notation d'un jeu est un processus aléatoire. . . Ce qui serait totalement absurde.
    Non, ça n'a rien à voir avec de l'aléatoire. La notation est un processus que l'on peut normer ; on peut très bien choisir de répartir les notes uniformément sur l'espace de notation, ou sous forme de gaussienne, ou autre chose. La vraie question, c'est comment rendre une notation la plus utile et pertinente possible.

    Cas extrême : tu notes sur 20, et tu mets toutes les notes entre 19 et 20. C'est peu utile : ce que tu cherches, c'est de différencier, classer les jeux entre eux ; le jeu qui a 19/20 est en fait le plus mauvais jeu de tous, or, à moins de connaître la totalité de l'échantillon, c'est impossible de savoir cela. L'intérêt de l'échelle de 0 à 20, c'est bien de permettre à quelqu'un qui n'a aucune connaissance de ton échantillon de savoir où se situe le jeu : en-dessous de 10, il est en-dessous de la moyenne, à 10 la moyenne, au-dessus de 10 supérieur à la moyenne.

    Reste la question de la gaussienne plutôt qu'une autre répartition dont la moyenne est centrée sur 10 : l'intérêt est de mieux discriminer les extrêmes, de mettre en évidence les éléments qui sortent de l'ordinaire dans un sens ou dans l'autre. En général, c'est ce qui est intéressant : en imaginant, de façon évidemment complètement modélisée, que les gens achèteront toujours (ou au moins seront toujours intéressés) par les X jeux les mieux notés, avec X qui varie en revanche selon les gens (la plupart des gens achètent peu de jeux, et plus X, autrement dit le nombre de jeux achetés, augmente, moins il y a de gens), tu veux que la discrimination soit d'autant plus forte lorsque la note est élevée, autrement dit, qu'il y ait peu de jeux aux notes élevées. J'admets que c'est moins pertinent du côté des faibles notes (l'intérêt de bien discriminer les jeux mauvais est assez faible), on pourrait choisir une distribution différente de ce côté-ci de l'échantillon, sauf que dans le cas de Metacritic, c'est justement l'inverse qui se produit : l'évaluation est bien plus facile en-dessous de la moyenne (les jeux se répartissent plutôt bien entre, disons, 30 et 60 de metascore) qu'au-dessus (on passe d'une foule de jeux entre 70 et 80 à très peu de jeux au-delà).

    Et les distributions que tu montrent n'ont vraiment rien de gaussienne.
    Oui, c'est ce que je dis.

    Je vois pas vraiment pourquoi ce "surnotage" fait polémique en fait?
    Est-ce tout le monde n'est pas d'accord sur le fait qu'un jeu avec moins de 6/10 est mauvais?
    Si on compare à une notation d'école, c'est pareil. La note doit rendre compte des compétences de l'élève et non du classement par rapport aux autres élèves. Et s'il a moins de 5/10 on considère qu'il a échoué. Alors je vois pas pourquoi c'est un problème si on applique ce raisonnement aux JV.
    Sauf que, schématiquement, la notation d'un jeu n'a pas pour fonction d'être un examen, mais un concours : la pertinence n'est pas de sélectionner les jeux qui remplissent un certain nombre de critères pour "passer", mais de classer les jeux entre eux pour permettre aux gens de savoir comment tel jeu se situe par rapport aux autres.

    En ce qui concerne l'évolution des notes utilisateurs depuis ~2000 je dirais que c'est du à l'essort du démat' et des jeux indé à petit budget ainsi que les platformes comme HumbleBundle ou bien steam avec toutes leurs promos. Ce n'est pas que les joueurs sont de plus en plus exigeant mais qu'ils ont plus tendance à acheter des jeux pas trop cher sans préalablement lire de test pour se décider. Et il se trouve que du coup ils sont plus souvent déçus.
    Je ne pense pas. La dématérialisation a vraiment commencé à se développer significativement vers la fin des années 2000 (en 2009 Steam n'avait encore qu'une vingtaine de millions d'utilisateurs ; le tout premier Humble Bundle, c'est 2010, et le développement des bundles, c'est plutôt à partir de 2012). Et je ne suis pas du tout convaincu par l'argument "les joueurs achètent de plus en plus sans lire de test".

    Et ton plot métascore/userscore je me suis bien marré. Déjà tracer une droite à travers un nuage de points je trouve ça osé, mais donner une régression linéaire avec 5 chiffres "significatifs"
    Je vois. Et dire que j'ai pris le temps de répondre sérieusement au reste de ton message. Tu sais qu'une régression linéaire, c'est pas une droite tracée au feeling dans le nuage de points hein ?


    - - - Updated - - -

    Citation Envoyé par Big Bear Voir le message
    Vous oubliez la principale critique adressée contre Metacritic pour les notes de presse: Metacritic fait un choix des tests mondiaux. Ce 71 de metascore moyen est probablement une donnée contrôlée par Metacritic, que ce site pilote d'année en année.
    Bien vu. Plus exactement, l'algorithme utilisé pour dériver le metascore des notes presse n'est pas connu (ce n'est pas une moyenne arithmétique). Je ne sais pas s'il en est de même avec le userscore à partir des notes utilisateurs par contre.
    Dernière modification par Cheshire ; 11/11/2015 à 16h25.

  12. #12
    Citation Envoyé par Cheshire Voir le message
    La presse note-elle de la même façon que les utilisateurs ?
    J’aurais formulé ça dans l’autre sens en fait. La presse a commencé à noter les jeux bien avant les utilisateurs puisqu’il n’y avait pas vraiment d’endroits pour centraliser facilement les retours des joueurs jusqu’à l’arrivée des sites internets dédiés au JV. Je pense plutôt que la presse a servi de modèle et que les utilisateurs, par ailleurs lecteurs de la presse, ont suivi.

    Citation Envoyé par Kecheu Voir le message
    Je vois pas vraiment pourquoi ce "surnotage" fait polémique en fait?
    Est-ce tout le monde n'est pas d'accord sur le fait qu'un jeu avec moins de 6/10 est mauvais?
    Si on compare à une notation d'école, c'est pareil. La note doit rendre compte des compétences de l'élève et non du classement par rapport aux autres élèves. Et s'il a moins de 5/10 on considère qu'il a échoué. Alors je vois pas pourquoi c'est un problème si on applique ce raisonnement aux JV.
    Si on continue de noter en dessous de la moyenne c’est aussi pour situer à quel point l’élève en est loin donc ça a une utilité. Il y a une différence entre 12/20, 9/20 et 2/20. D’autre part, dans le cas où tu considérerais tout de même que les notes en dessous de la moyenne sont inutiles, pourquoi les inclure dans l’échelle de notation ? C’est idiot.

    Edit : ce n’est pas toi qui es idiot hein mais le fait de créer une échelle dont la moitié est inutile.

  13. #13
    Citation Envoyé par Cheshire Voir le message
    Alors, les jeux sont-ils de plus en plus mauvais, ou les utilisateurs sont-ils de plus en plus exigeants ?... Ne voyant pas particulièrement de raison au premier, j'ai tendance à penser le second...
    Je pense que l'élargissement du publique visé, nécessaire à la rentabilité de jeux de plus en plus cher à produire est responsable de ça. Les joueurs, ont de plus en plus de mal à trouver exactement ce qu'ils cherchent.

    Exemple : Un amateur de RPG actuel va avoir tendance à considérer que les jeux qui sortent contiennent trop d'action, que les éléments RPG sont trop dilués. L'amateur d'action va considérer qu'il y à trop de dialogues et pas assez d'action. Au final, chacun va revoir sa note à la baisse parce que le jeu est peut être très bon, mais ne correspond pas exactement à ce que chacun recherchait.

  14. #14
    Faut pas oublier que la note sur 100 de MC à partir d'une notation variée (sur 10, sur 5, sur étoiles, sur 20...° relève d'un calcul connu de MC lui-même, rien ne dit que toutes les reviews soient traités du même pied selon la provenance.
    Tu prends le truc noté sur 5: 4/5 sur un site qui utilise une telle notation, c'est un très bon jeu. 80/100, en théorie aussi, en pratique c'est limite considéré comme moyen par les gens qui utilisent MC pour appuyer leur critique sur un titre. Même niveau éditeur c'est pas génial (cf affaire bethesda/Obsidian et le score MC minimum de 85 pour obtenir un bonus pour New Vegas...).
    On passe donc d'une note ressenti comme très bonne à "pas mal" grâce à la magie de MC. Et ça vaut pour tous les jeux/sites...Alors quand tu croises ça avec des notes sur 10/20/50/100...

    Sinon tu t'es bien fait chier, mais c'est intéressant

    -.-.-– nAKAZZ, depuis 2024

  15. #15

  16. #16
    Je suis pas certain que la note métacritic et userscore soient indépendantes l'une de l'autre.

    On peut très facilement imaginer que les gens jouent aux jeux notés à 60+, et utilisent les notes des journaleux comme réferentiel (ah j'ai pas aimé ce jeu, il a mis 8, j'vais mettre 6).

    Sinon, bravo pour ce boulot !

    - - - Mise à jour - - -

    Une autre piste, est tout simplement que les utilisateurs et les journaleux ont pris l'habitude de noter à moins de la moyenne les jeux catastrophiques.

    Tant que ça marche et que ce n'est pas du foutage de gueule, le jeu aura automatiquement plus de 5-6/10.

  17. #17
    On peut très facilement imaginer que les gens jouent aux jeux notés à 60+, et utilisent les notes des journaleux comme réferentiel (ah j'ai pas aimé ce jeu, il a mis 8, j'vais mettre 6).
    En gros, que les utilisateurs réagissent plus facilement s'ils sont en désaccord avec le metascore... C'est une possibilité intéressante et finalement cohérente avec le fait que les utilisateurs notent mieux en-dessous de la moyenne et moins bien au-dessus.

    Une autre piste, est tout simplement que les utilisateurs et les journaleux ont pris l'habitude de noter à moins de la moyenne les jeux catastrophiques.

    Tant que ça marche et que ce n'est pas du foutage de gueule, le jeu aura automatiquement plus de 5-6/10.
    C'est bien le problème, on se fiche pas mal qu'il y ait un "espace" de 50 points pour comparer les jeux catastrophiques pour lequel le message est, en gros, "n'y jouez pas", alors que l'espace pour différencier un bon jeu et un jeu exceptionnel tient sur à peine une dizaine de points autour de 80-90...

  18. #18
    Très intéressants, j'ai plusieurs questions.
    Tout d'abord comment tu fais pour récupérer toutes ces données? Ça m’intéresserait bien de savoir faire de même.
    Ensuite est ce qu'il est possible de juste récupérer le nombre de note utilisateurs (voire journaliste) et ce afin de supprimer les jeux ayant, par exemple, moins de 100 notes users afin de réduire les erreurs statistiques de tes courbes. Puisque finalement un 8 sur 10 notes ne veut pas forcement dire grand chose.
    Sinon merci beaucoup pour cette analyse.

  19. #19
    Si on omet le principe même de la notation... vous trouvez ça vraiment déconnant les répartitions ? C'est comme une note dans le milieu scolaire qui ne reflète pas un classement "Xème / total des élèves". Et globalement il y a moins de daubes dans le jv que dans d'autres media non ?

  20. #20
    Euhhh j'en suis pas certain, qu'il y ait "moins" de daubes.

    -.-.-– nAKAZZ, depuis 2024

  21. #21
    Citation Envoyé par Monsieur Cacao Voir le message
    Euhhh j'en suis pas certain, qu'il y ait "moins" de daubes.
    Mis à part les jeux greenlightés "par erreur" (qui n'ont pas de note officielle, à la Bad Rats ou The Slaughtering Grounds), ya quand même pas des masses de jeux ou ya rien à sauver dans le naufrage ? Des équivalents ludiques des films de Uwe Boll en somme.

  22. #22
    Citation Envoyé par Monsieur Cacao Voir le message
    Faut pas oublier que la note sur 100 de MC à partir d'une notation variée (sur 10, sur 5, sur étoiles, sur 20...° relève d'un calcul connu de MC lui-même, rien ne dit que toutes les reviews soient traités du même pied selon la provenance.
    Sur un panel de quelques jeux (Fallout 4, Tomb Raider 2, Halo 5, Black Ops 3), les scores sont très proches de ceux d'Opencritic, qui se contente pourtant d'une simple moyenne arithmétique. Ça pourrait être intéressant de comparer les deux sites sur un échantillon significatif, ça mettrait peut-être en évidence certains éléments de la formule secrète de Metacritic et confirmerait ou infirmerait les fantasmes.
    Dernière modification par DeadFish ; 12/11/2015 à 17h29.

  23. #23
    Citation Envoyé par pikkpi Voir le message
    Mis à part les jeux greenlightés "par erreur" (qui n'ont pas de note officielle, à la Bad Rats ou The Slaughtering Grounds), ya quand même pas des masses de jeux ou ya rien à sauver dans le naufrage ? Des équivalents ludiques des films de Uwe Boll en somme.
    C'est plus délicat à juger dans la mesure où même si t'as une narration pourrie, des graphismes moches ou un jeu bancal, tu peux quand même trouver moyen de t'amuser, même si ça ne vole pas haut. La perception n'est pas la même quand t'es acteur que quand t'es simplement spectateur. Enfin je pense.
    Après je peux te pondre une liste longue comme le bras d'un géant de jeux "daubiques", pas de problème.Même s'ils sont joués par des millions de cons

    -.-.-– nAKAZZ, depuis 2024

  24. #24
    Citation Envoyé par Cheshire Voir le message
    Non, ça n'a rien à voir avec de l'aléatoire.
    Si
    Citation Envoyé par wikipedia
    En théorie des probabilités et en statistique, la loi normale est l'une des lois de probabilité les plus adaptées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires

    Citation Envoyé par Cheshire Voir le message
    La notation est un processus que l'on peut normer ;
    La loi normale n'est pas la seule distribution normée. Au hassard: Loi normale asymétrique, loi Log-normarle

    Citation Envoyé par Cheshire Voir le message
    on peut très bien choisir de répartir les notes uniformément sur l'espace de notation, ou sous forme de gaussienne,
    Donc selon toi il faudrait adapter les notes des divers jeux pour que ça s'accorde bien à une distribution prédéfinie? Et comment tu fais entrer la qualité réelle du jeu la dedans?

    Citation Envoyé par Cheshire Voir le message
    ou autre chose.
    Pioche donc dans les distributions que je t'ai proposé plus haut, tu veras qu'elle correspondent pas trop mal à la réalité

    Citation Envoyé par Cheshire Voir le message
    La vraie question, c'est comment rendre une notation la plus utile et pertinente possible.

    Citation Envoyé par Cheshire Voir le message
    Cas extrême : tu notes sur 20, et tu mets toutes les notes entre 19 et 20. C'est peu utile : ce que tu cherches, c'est de différencier, classer les jeux entre eux ; le jeu qui a 19/20 est en fait le plus mauvais jeu de tous, or, à moins de connaître la totalité de l'échantillon, c'est impossible de savoir cela. L'intérêt de l'échelle de 0 à 20, c'est bien de permettre à quelqu'un qui n'a aucune connaissance de ton échantillon de savoir où se situe le jeu : en-dessous de 10, il est en-dessous de la moyenne, à 10 la moyenne, au-dessus de 10 supérieur à la moyenne.
    C'est absurde puisque dans ta vision la note est relative, et dépend entièrement de l'échantillon.
    Disons qu'un magazine X ne teste que des jeux qui ont des metascores entre 70 et 90. Tu voudrais donc qu'il mette 0 au jeu qui est le plus mauvais de ceux qu'ils ont testé (celui qui metascore 70) et 100 à celui qui a reçu un metascore 90 ?
    Et j'en viens au problème suivant, c'est que l'échantillon grossit avec le temps. Du coup si ce magazine venait à tester plus tard un jeu qui prend 40/100 de moyenne metascore, ils lui mettent 0, donc équivalent à un jeux avec metascore 70?

    Citation Envoyé par Cheshire Voir le message

    Reste la question de la gaussienne plutôt qu'une autre répartition dont la moyenne est centrée sur 10 : l'intérêt est de mieux discriminer les extrêmes, de mettre en évidence les éléments qui sortent de l'ordinaire dans un sens ou dans l'autre. En général, c'est ce qui est intéressant : en imaginant, de façon évidemment complètement modélisée, que les gens achèteront toujours (ou au moins seront toujours intéressés) par les X jeux les mieux notés, avec X qui varie en revanche selon les gens (la plupart des gens achètent peu de jeux, et plus X, autrement dit le nombre de jeux achetés, augmente, moins il y a de gens), tu veux que la discrimination soit d'autant plus forte lorsque la note est élevée, autrement dit, qu'il y ait peu de jeux aux notes élevées. J'admets que c'est moins pertinent du côté des faibles notes (l'intérêt de bien discriminer les jeux mauvais est assez faible), on pourrait choisir une distribution différente de ce côté-ci de l'échantillon, sauf que dans le cas de Metacritic, c'est justement l'inverse qui se produit : l'évaluation est bien plus facile en-dessous de la moyenne (les jeux se répartissent plutôt bien entre, disons, 30 et 60 de metascore) qu'au-dessus (on passe d'une foule de jeux entre 70 et 80 à très peu de jeux au-delà).
    Il faudrait que tu commences par définir l'ordinaire pour un jeux vidéo

    Citation Envoyé par Cheshire Voir le message
    Sauf que, schématiquement, la notation d'un jeu n'a pas pour fonction d'être un examen, mais un concours : la pertinence n'est pas de sélectionner les jeux qui remplissent un certain nombre de critères pour "passer", mais de classer les jeux entre eux pour permettre aux gens de savoir comment tel jeu se situe par rapport aux autres.
    FAUX
    Il ne fat pas oublier que la note d'un jeux est toujours le resultat d'un test, dont les critère d'evaluation sont les suivants: est-ce que ce jeux vaut la peine d'y investir du temp (et parfois de l'argent), est-ce qu'il donnera du plaisir au joueur.

    Citation Envoyé par Cheshire Voir le message


    Je ne pense pas. La dématérialisation a vraiment commencé à se développer significativement vers la fin des années 2000 (en 2009 Steam n'avait encore qu'une vingtaine de millions d'utilisateurs ; le tout premier Humble Bundle, c'est 2010, et le développement des bundles, c'est plutôt à partir de 2012). Et je ne suis pas du tout convaincu par l'argument "les joueurs achètent de plus en plus sans lire de test".
    Waip, c'était juste un idée comme ça.

    Citation Envoyé par Cheshire Voir le message
    Je vois. Et dire que j'ai pris le temps de répondre sérieusement au reste de ton message. Tu sais qu'une régression linéaire, c'est pas une droite tracée au feeling dans le nuage de points hein ?
    Tu vois quoi?
    C'est pas parceque tu as demandé à un ordinateur de le faire pour toi que ça rend le résultat plus vraisemblable, surtout que comme dit rabbitman plus haut tu ne prends pas en compte l'écart type ce qui rend le résultat d'autan plus ininteressant.



    Citation Envoyé par Frypolar Voir le message
    Si on continue de noter en dessous de la moyenne c’est aussi pour situer à quel point l’élève en est loin donc ça a une utilité. Il y a une différence entre 12/20, 9/20 et 2/20. D’autre part, dans le cas où tu considérerais tout de même que les notes en dessous de la moyenne sont inutiles, pourquoi les inclure dans l’échelle de notation ? C’est idiot.

    Edit : ce n’est pas toi qui es idiot hein mais le fait de créer une échelle dont la moitié est inutile.
    Je ne dis pas qu'il est inutile de noter en dessous de 5/10, je dis simplement qu'il est incensé de faire échouer la moitié des élèves seulement pour que la distribution soit joliment centrée autour de la moyenne.

  25. #25
    Excellents graphiques, merci!
    Citation Envoyé par Cheshire Voir le message
    , la notation d'un jeu n'a pas pour fonction d'être un examen, mais un concours: la pertinence n'est pas de sélectionner les jeux qui remplissent un certain nombre de critères pour "passer", mais de classer les jeux entre eux pour permettre aux gens de savoir comment tel jeu se situe par rapport aux autres.
    Non, la notation "impartiale" est un examen, mais c'est chaque joueur ensuite qui décide selon ces propres critères de concours. Par contre:
    La notation est un processus que l'on peut normer; on peut très bien choisir de répartir les notes uniformément sur l'espace de notation, ou sous forme de gaussienne, ou autre chose. La vraie question, c'est comment rendre une notation la plus utile et pertinente possible.
    Reste la question de la gaussienne plutôt qu'une autre répartition dont la moyenne est centrée sur 10: l'intérêt est de mieux discriminer les extrêmes, de mettre en évidence les éléments qui sortent de l'ordinaire dans un sens ou dans l'autre.
    que la discrimination soit d'autant plus forte lorsque la note est élevée, autrement dit, qu'il y ait peu de jeux aux notes élevées. J'admets que c'est moins pertinent du côté des faibles notes (l'intérêt de bien discriminer les jeux mauvais est assez faible), on pourrait choisir une distribution différente de ce côté-ci de l'échantillon,
    Voilà; après 50%, et surtout 75% il faudrait rajouter d'autres échelles de présentation, pour indiquer où se répartissent les points afin que le joueur puisse mieux choisir selon ce qui compte pour lui. Mais:
    , l'algorithme utilisé pour dériver le metascore des notes presse n'est pas connu (ce n'est pas une moyenne arithmétique). Je ne sais pas s'il en est de même avec le userscore à partir des notes utilisateurs par contre.
    Voilà, Metacritic devrait mettre à disposition des joueurs de quoi faire leur propre formule en nous permettant de choisir nous-même le poids de chaque critère. Évidemment ça ne donnerait un résultat qu'indicatif, car un jeu pour nous ne se résume pas à de multiples critères.

  26. #26
    Citation Envoyé par Kecheu Voir le message
    Si

    Non tu n'as pas à considérer cela comme un processus aléatoire.
    C'est une fonction qu'on utilise pour normer les notations, comme l'a fait remarquer Cheshire, on peut très bien utiliser d'autres fonction, comme celle que tu mets d'ailleurs.

    Citation Envoyé par Kecheu Voir le message
    C'est absurde puisque dans ta vision la note est relative, et dépend entièrement de l'échantillon.
    Disons qu'un magazine X ne teste que des jeux qui ont des metascores entre 70 et 90. Tu voudrais donc qu'il mette 0 au jeu qui est le plus mauvais de ceux qu'ils ont testé (celui qui metascore 70) et 100 à celui qui a reçu un metascore 90 ?
    Et j'en viens au problème suivant, c'est que l'échantillon grossit avec le temps. Du coup si ce magazine venait à tester plus tard un jeu qui prend 40/100 de moyenne metascore, ils lui mettent 0, donc équivalent à un jeux avec metascore 70?
    Ce n'est pas plus absurde que le contraire, (la notation en "absolue").
    A partir du moment ou tu pars avec un échantillon assez grand ça fonctionne. Après c'est à toi de bien choisir la fonction pour représenter ton panel de jeu. Je pense que Cheshire exprimait le fait que l'échelle de note est mal choisi si on garde ces fonctions puisque finalement on explore seulement la moitié de l'échelle. (autant noté directement entre 10 et 20 )
    Noter les jeux en absolu ça reviendrait à oublier les jeux qu'on a fait précédemment, en plus d'être difficilement faisable, les critères d'UI, de graphisme, de gameplay évolue dans le temps, il serait bien difficile de les définir en absolu.

  27. #27
    Citation Envoyé par Laya Voir le message
    Non tu n'as pas à considérer cela comme un processus aléatoire.
    C'est une fonction qu'on utilise pour normer les notations, comme l'a fait remarquer Cheshire, on peut très bien utiliser d'autres fonction, comme celle que tu mets d'ailleurs.
    À l'origine je répondait à sa déclaration empirique sur le fait que la gaussienne serait une bonne fonction, alors que celle-ci n'est justement empiriquement "bonne" que pour les évennements aléatoire. De plus (comme il l'a lui-même observé) ce choix est tout à fait eronné dans ce cas.

    Citation Envoyé par Laya Voir le message
    Ce n'est pas plus absurde que le contraire, (la notation en "absolue").
    A partir du moment ou tu pars avec un échantillon assez grand ça fonctionne. Après c'est à toi de bien choisir la fonction pour représenter ton panel de jeu. Je pense que Cheshire exprimait le fait que l'échelle de note est mal choisi si on garde ces fonctions puisque finalement on explore seulement la moitié de l'échelle. (autant noté directement entre 10 et 20 )
    Noter les jeux en absolu ça reviendrait à oublier les jeux qu'on a fait précédemment, en plus d'être difficilement faisable, les critères d'UI, de graphisme, de gameplay évolue dans le temps, il serait bien difficile de les définir en absolu.
    Et un classement relatif demanderait que l'on connaisse déjà tous les jeux qui sortiront dans le futur. Sinon où classer les jeux beaucoup plus mauvais ou bien meilleurs que tout ce qu'on a vu jusqu'à présent si les places 0 et 100 sont déjà occupée? Un classement relatif n'est possible que s'il est réévalué à la sortie de chaque nouveau test. Ce qui forcerait à changer rétroactivement les notes de tous les jeux.

  28. #28
    Citation Envoyé par Laya Voir le message
    Très intéressants, j'ai plusieurs questions.
    Tout d'abord comment tu fais pour récupérer toutes ces données? Ça m’intéresserait bien de savoir faire de même.
    5 minutes de copier/coller dans Excel des pages de Metacritic qui récapitulent toutes leurs notes

    Citation Envoyé par Laya Voir le message
    Ensuite est ce qu'il est possible de juste récupérer le nombre de note utilisateurs (voire journaliste) et ce afin de supprimer les jeux ayant, par exemple, moins de 100 notes users afin de réduire les erreurs statistiques de tes courbes. Puisque finalement un 8 sur 10 notes ne veut pas forcement dire grand chose.
    Sinon merci beaucoup pour cette analyse.
    En principe oui pour les notes presse ; pour les notes utilisateurs ça risque d'être juste celles associées à un commentaire, je ne crois pas que Metacritic publie la liste des notes utilisateurs utilisées pour faire le userscore.
    En pratique, il faudrait faire un petit crawler qui téléchargera toutes les pages avec les critiques presse (et/ou commentaires utilisateurs) pour chaque jeu (pas question de faire ça à la main cette fois...) et fait un minimum de nettoyage pour générer en output un fichier avec par exemple à chaque ligne l'association nom du jeu/journal/note (voire date si on veut s'amuser à faire des stats là-dessus - genre, est-ce que les critiques presses sont plus généreuses juste après la sortie ). Et avec ça, c'est facile de l'utiliser en base de données source pour en sortir des analyses. Reste que, personnellement, programmer un crawler, c'est un peu au-dessus de mes compétences... (mais si quelqu'un veut le faire, je suis prêt à m'occuper des analyses ensuite ^^)

    Edit : j'ai lu un peu vite ton commentaire, je pensais que tu voulais récupérer la liste de toutes les notes presse/utilisateur pour chaque jeu. Mais ça doit marcher pareil pour le nombre de notes, il faut un crawler pour aller récupérer l'info sur la page de chaque jeu vu que cette info n'est pas donnée sur les pages récapitulatives...

    Citation Envoyé par Kecheu Voir le message
    Tu vois quoi?
    C'est pas parceque tu as demandé à un ordinateur de le faire pour toi que ça rend le résultat plus vraisemblable, surtout que comme dit rabbitman plus haut tu ne prends pas en compte l'écart type ce qui rend le résultat d'autan plus ininteressant.
    Sur le fond, je vois que tu critiques un détail sans intérêt. D'abord, tu n'as donné aucun argument à part des arguments d'autorité "ça me fait marrer" et "c'est abusé". Ensuite, la régression et l'équation associée ont été générées par Excel avec le nombre de chiffres significatifs qu'il veut, il ne m'est même pas venu à l'idée quelqu'un viendrait sérieusement me casser les pieds pour ne pas l'avoir copié à la main pour en enlever des chiffres... Enfin, tu prétends donner des leçons alors que tu ne maîtrises pas le sujet : les données ne sont pas des chiffres expérimentaux avec des marges d'erreur, ce sont des chiffres bruts, exacts, par définition avec une infinité de chiffres significatifs ! Le fait que tu commences maintenant à parler d'écart-type alors que ça n'a rien à voir (on ne sait même pas comment les metascores sont dérivés des notes presse - non que la notion de chiffres significatifs ait la moindre pertinence pour des notes presse non plus...) montre que tu n'as vraiment pas les idées claires là-dessus.

    Sur la forme, je vois que ton intention n'est pas de présenter une critique constructive, mais de trouver une raison quelconque de faire état d'un mépris dont je peine à comprendre l'origine, un peu l'équivalent d'un charmant "haha le noob", quoi. Ce qui, en plus d'être irrespectueux et immature, présente le risque d'être ridicule si par malchance la critique était infondée. Le fait d'avoir des remarques ou des critiques n'empêche pas de faire preuve d'une politesse élémentaire ; regarde le reste du topic, tu n'es pas le seul à faire des critiques, mais tu es bien le seul à les formuler sous cette forme plutôt que, par exemple, "Je trouve que ce n'est pas pertinent de faire une régression linéaire ici et voici pourquoi".

    Bref, devant l'évidence que ton objectif n'est pas de discuter posément du sujet mais d'étaler un complexe de supériorité, je vois qu'il vaut mieux éviter de passer bien trop de temps à te répondre sérieusement.
    Dernière modification par Cheshire ; 12/11/2015 à 23h40.

  29. #29
    Citation Envoyé par Cheshire Voir le message
    Sur le fond, je vois que tu critiques un détail sans intérêt.
    Je vois mal comment on peut prétendre faire de l'analyse statisque sérieuse sans prendre en compte les erreurs.


    Citation Envoyé par Cheshire Voir le message
    D'abord, tu n'as donné aucun argument à part des arguments d'autorité "ça me fait marrer" et "c'est abusé".
    Si, si mon poste en est plein. Mais tu as quoté le seul passage où il est un peu moins évident.

    Citation Envoyé par Cheshire Voir le message
    Ensuite, la régression et l'équation associée ont été générées par Excel avec le nombre de chiffres significatifs qu'il veut, il ne m'est même pas venu à l'idée quelqu'un viendrait sérieusement me casser les pieds pour ne pas l'avoir copié à la main pour en enlever des chiffres... Enfin, tu prétends donner des leçons alors que de toute évidence tu ne maîtrises pas le sujet : les données ne sont pas des chiffres expérimentaux avec des marges d'erreur, ce sont des chiffres bruts, exacts, par définition avec une infinité de chiffres significatifs ! Le fait que tu commences maintenant à parler d'écart-type alors que ça n'a rien à voir (on ne sait même pas comment les metascores sont dérivés des notes presse - non que la notion de chiffres significatifs ait la moindre pertinence pour des notes presse non plus...) montre que tu n'as vraiment pas les idées claires là-dessus.
    Alors là j'ai du mal à suivre tellement tu te contredis. "Les metascores sont dérivés des notes de presse" et de ce fait pas des données brutes mais synthétiques. C 'est même un point qui se retrouve au centre du débat.

    Citation Envoyé par Cheshire Voir le message

    Sur la forme, je vois que ton intention n'est pas de présenter une critique constructive, mais de trouver une raison quelconque de faire état d'un mépris dont je peine à comprendre l'origine, un peu l'équivalent d'un charmant "haha le noob", quoi. Ce qui, en plus d'être irrespectueux et immature, présente le risque d'être ridicule si par malchance la critique était infondée. Le fait d'avoir des remarques ou des critiques n'empêche pas de faire preuve d'une politesse élémentaire ; regarde le reste du topic, tu n'es pas le seul à faire des critiques, mais tu es bien le seul à les formuler sous cette forme plutôt que, par exemple, "Je trouve que ce n'est pas pertinent de faire une régression linéaire ici et voici pourquoi".

    Bref, devant l'évidence que ton objectif n'est pas de discuter posément du sujet mais d'étaler un complexe de supériorité, je vois qu'il vaut mieux éviter de passer bien trop de temps à te répondre sérieusement.
    Je trouve dommage que tu ne retienne que la dernière phrase de mon premier post pour justifier de ne pas répondre aux arguments qui ne vont pas dans ton sens.

  30. #30
    Très intéressant, je ne suis pas assez balaise en stat s pour savoir si tout ceci estscientifiquement pertinent par contre je sais qu'il y a pas mieux que les "quote wars" pour pourrir un topic.

Règles de messages

  • Vous ne pouvez pas créer de nouvelles discussions
  • Vous ne pouvez pas envoyer des réponses
  • Vous ne pouvez pas envoyer des pièces jointes
  • Vous ne pouvez pas modifier vos messages
  •