Papers, please

Selon une étude américaine, la plupart des études américaines seraient à prendre avec des pincettes. Si l'ironie de la formulation prête à sourire, elle met tout de même le doigt sur un soucis récurrent dès que la presse généraliste reprend des résultats d'études scientifiques : approximations, exagérations, détournements en cascade. Être journaliste n'est pas un métier facile, et être journaliste scientifique encore moins.

Et le fait est que l'on voit fleurir sur internet des articles construits sur la base de « par rapport à ce sujet d'actualité, une étude vient de montrer que », on en trouve sur la violence dans les jeux vidéo, sur les comportements addictifs, sur l'efficacité des méthodes d'enseignement... et très souvent, les articles en question sont de tristes mensonges. Par manque d'expérience scientifique, ou par volonté de dénicher du sensationnel, les journalistes arrangent les résultats, les comprennent de travers, ou les sacralisent plus que de raison.

Il faut comprendre que la recherche est une œuvre difficile, et que si elle vise d'un point de vue global à atteindre une compréhension claire et parfaite du monde dans lequel nous évoluons, le processus fonctionne souvent par essais, erreurs, et corrections. En cela, il ne faut jamais voir un article scientifique comme une preuve irréfutable (surtout dans les domaines « expérimentaux » de la sociologie, économie, psychologie, etc.) mais plus comme un élément de réflexion, qui sera repris, décortiqué, critiqué, parfois réfuté par d'autres chercheurs avec le temps. La recherche n'est pas le fait de quelques grandes figures qui publient des vérités irréfutables, mais d'un travail de fourmi, très progressif.

Il est donc toujours très risqué de simplement reprendre un article scientifique et d'en faire une nouvelle de type « des chercheurs ont démontré que », surtout sur un sujet brûlant où études et contre-études vont s'affronter pendant des années, parfois des décennies. Et il est encore pire de reprendre un article scientifique si on est pas armé pour le relire de façon critique.

Justement, cette semaine, le Huffington Post nous a joyeusement offert un magnifique exemple de « la science vient de démontrer que » sur un sujet terriblement d'actualité : les jeux vidéo et la culture du viol. Et cet article réussit à cumuler tout ce qui ne va pas dans la catégorie « presse qui parle de science », à tel point que je n'ai cette fois-ci pas pu me retenir de le déconstruire pour pointer ce qui n'y va pas, et ce qui ne va pas dans nombres d’articles du même type, quelque soit leur sujet.

Avant de commencer je me permettrai tout de même une précision : ce qui est gênant dans cet article, c'est la façon dont il reprend et détourne une étude scientifique pour asseoir son propos. Le sujet traité lui est très sérieux. La culture du viol est un vrai problème, pas un fantasme de féministes, et Crêpe Georgette vous l'expliquera beaucoup mieux que je ne saurais le faire. La question des représentations féminines (et masculines aussi) dans les jeux vidéo est un vrai débat, traité abondamment par certaines personnes comme Anita Sarkeesian et Mar_lard (et à titre personnel, je suis tout à fait pour des personnages plus variés et moins stéréotypés et sexualisés dans les jeux auxquels je joue, ceux qui veulent juste se rincer l’œil ont déjà tout internet à leur disposition pour ça).

Ceci étant posé, prenons par le menu :

• l'article en question du Huffington Post
• l'article du Time qui lui a servi d'inspiration
• l'article scientifique à l'origine de tout ça

Lisez ces trois articles (oui, il y en a deux en Anglais, mais on ne va pas s'arrêter à ça) et on va pouvoir commencer.

Ce que dit le Huffington Post

 

L'article du Huffington Post (Jeux vidéo : comment ils renforcent la culture du viol, de Marine Le Breton) commence par poser son sujet et le remettre en contexte : de la preview de Tomb Raider par feu Joystick qui avait allumé la mèche il y a un an aux différents billets importants sur le sujet, le soucis de la représentation des femmes dans le jeu vidéo (princesses à sauver ou héroïnes sexy), le fait qu'il y a autant de joueuses que de joueurs à l'heure actuelle. Jusque là rien à redire.

Là où ça fait tache, c'est quand l'auteur aborde « l'étude scientifique qui démontre que les jeux vidéo alimentent la culture du viol ». L'auteur en dit en effet les choses suivantes :

Selon ses résultats, publiés dans la revue Computers and Human Behavior, la conception des personnages de jeux vidéo jouerait un rôle dans l'image que les filles ont de leur corps ainsi que sur l'acceptation de ce qu'on appelle aujourd'hui la culture du viol.

Plus le personnage est sexualisé, plus la culture du viol est intériorisée.

Les joueuses doivent, a posteriori, évaluer une série d'affirmations sur une échelle de 5 (de vraiment pas d'accord, à vraiment d'accord), telles que "Dans la majorité des viols, la victime a des mœurs légères ou une mauvaise réputation" ou encore "Les femmes qui se font violer en faisant du stop n'ont que ce qu'elles méritent". Les résultats sont inquiétants. Les femmes qui ont joué des avatars très sexualisés avaient bien plus tendance à être en accord avec ces affirmations que les autres.

 

Ce que dit vraiment l'étude

L'étude (The embodiment of sexualized virtual selves: The Proteus effect and experiences of self-objectification via avatars, de Jesse Fox, Jeremy N. Bailenson et Liz Tricase), publiée chez Elsevier (une grosse machine de l'édition scientifique) s'intéresse effectivement à la façon dont le design de l'avatar d'une personne va influer sur son comportement en ligne et IRL, travail qui se situe dans la lignée de l'étude du Proteus Effect identifié par Yee et Bailenson en 2007 et précisé en 2009. L'étude veut étudier deux hypothèses : (H1) le fait d'endosser un avatar sexy pousse à avoir des pensées plus tournées vers son propre corps (ce qui, en se basant sur des travaux antérieurs, serait identifié comme une marque d'objectivation de soi) et (H2) le fait d'endosser un avatar sexy pousse à être davantage d'accord avec la culture du viol.

L'étude repose sur un protocole simple : 86 participantes sont classées en 4 groupes (de 19 à 23 participantes chacun, ça a son importance) et sont immergées dans un environnement virtuel, Occulus Rift à l'appui (pour renforcer l'aspect immersif). Chaque participante suivra une immersion en deux phases : se retrouver face à un « reflet » de son avatar (pour bien intégrer son apparence) et ensuite interagir dans l'environnement virtuel avec un homme suivant un script (actions et texte) prédéfini (par contre je n'ai pas trouvé de précision sur le contenu du script). Après l'immersion, les participantes doivent remplir un questionnaire dans lequel elles doivent évaluer leur avatar (est-il sexy ? est-il habillé de façon suggestive ? vous ressemble-t-il ?) la qualité de l'immersion, et jauger une série de 11 affirmations liées à la culture du viol. Toutes les réponses sont basées sur une échelle allant de 1 (pas du tout d'accord) à 5 (je confirme fortement). Finalement, après une phase de pause, les participantes devaient ajouter quelques phrases libres sur leurs pensées courantes (afin d'y détecter des pensées tournées vers leur propre corps et leur objectivation).

L'intérêt de l'expérimentation repose sur le fait que chaque groupe va se voir exposé à un type d'avatar différent, en faisant varier deux paramètres : avatar habillé « normalement » ou de façon « suggestive » (illustrations présentes dans l'article pour vous aider à visualiser) et avatar ressemblant (personnalisé d'après une photo de la participante) ou lambda. On a donc un groupe de « sexy-ressemblant », un de « sexy-non ressemblant », un de « non sexy-ressemblant » et un de « non sexy-non ressemblant ». L'idée est donc de classer les réponses aux questionnaires en fonction des groupes étudiés, et de voir si des différences de résultats significatives apparaissent. Et des résultats, il y en a, sur les deux hypothèses de départ :

Concernant objectivation de soi

L'étude montre que les deux groupes affectés à des avatars habillés de façon suggestive avaient tendance à exprimer plus de pensées liées à leur propre corps (moyenne 0,86 / écart type 1,24) que ceux liés à des avatars habillés de façon plus « conventionnelle » (moyenne 0,27 / écart type 0,59). Le fait de jouer à un jeu impliquant un avatar sexualisé ou hyper-sexualisé pousserait donc à une plus grand objectivation de soi.

Concernant l'acceptation de la culture du viol

L'étude montre ici que les groupes ayant endossé un avatar plus ressemblant exprimaient un plus grand accord avec les mythes liés à la culture du viol (moyenne 1,89 / écart type 0,51) que ceux ayant endossé un avatar lambda (moyenne 1,64 / écart type 0,42). Les auteurs de l'étude confirment eux-mêmes que l'apparence « sexy » ou non de l'avatar n'a pas eu d'influence sur le résultat, le groupe « sexy-non ressemblant » étant d'ailleurs celui chez qui les mythes en question sont le moins exprimés (moyenne 1,54, écart type 0,36). Le fait de jouer à un jeu impliquant un avatar ressemblant pousserait donc à davantage approuver les mythes liés à la culture du viol, le fait que l'avatar soit sexualisé n'aurait pas d'influence (mince, le Huffington Post affirme justement le contraire).

Il est aussi intéressant de remarquer que sur l'ensemble des groupes, on reste sur des scores relativement bas. L'échelle allant de 1 (pas du tout d'accord) à 5 (tout à fait d'accord), des moyennes entre 1,64 et 1,89 montrent une population qui est globalement en désaccord avec les mythes en question. Même si ce n'est pas ici l'objet de l'étude, j'aurai tout de même tendance à trouver ce score en lui-même plutôt rassurant.

Les limites de l'étude

L'étude pose en réalité des problèmes sur deux aspects : la taille des groupes, et une présomption de type « s'il y a différence à la fin, c'est forcément dû à la phase d'immersion virtuelle ». Plus particulièrement ici, on observe une combinaison des deux effets qui doit pousser à faire attention.

Chacun des groupes compte une vingtaine de personnes, et c'est peu. Dans ce type d'expérimentation, cela implique que les réponses individuelles d'une participante peuvent être suffisantes pour faire basculer le résultat (en gros, il suffit qu'une participante dans un groupe note tous les items à 5 pour faire monter la moyenne de son groupe de 0,25 points, ce qui peut être suffisant pour faire apparaître ou disparaître un écart significatif). La question de la taille des groupes est un problème récurrent dans les études de terrain. Il est souvent très difficile (pour des questions d'organisation, de moyens, et de « on a 3 mois pour faire cette étude et pondre un papier si on veut tenir notre seuil de productivité scientifique) de mener des études avec des groupes d'ampleur suffisante pour pouvoir en retirer de vraies statistiques (rappel : un sondage national se base généralement sur un échantillon de 1000 personnes, et on remet déjà régulièrement en cause leur pertinence). C'est pour cela que bien souvent sur une question donnée, la communauté scientifique attend qu'un nombre élevé d'études similaires (dans le protocole, pas dans les résultats) aient été publiées pour en faire des synthèses et des meta-analyses (qui couvrent donc des échantillons cumulés qui atteignent des dimensions beaucoup plus intéressantes).

Le second problème est à mon sens dans le protocole : il n'y a qu'une évaluation, après la phase d'immersion virtuelle, et les auteurs partent du présupposé que s'il y a écart dans les résultats, ce sera forcément du à l'influence de la phase d'immersion virtuelle. Outre que ce présupposé oublie le célèbre « corrélation n'est pas causalité », ce parti pris ne pourrait être viable que si le nombre de participants à l'étude était très élevé, permettant de déduire que les échantillons sont statistiquement homogènes au départ concernant la question de la culture du viol. Avec des échantillons aussi réduits, il suffit qu'un groupe comporte deux ou trois personnes qui au départ sont déjà totalement imprégnées par la culture du viol (ou à l'opposé deux ou trois qui soient déjà informées du sujet et donc moins enclines à approuver ces mythes) pour assurer dès la constitution des échantillons qu'il y aura un écart (involontaire pour le coup) dans les résultats obtenus (ce qu'on appelle dans le jargon « observer du bruit »).

C'est d'autant plus remarquable qu'ici le propos de l'article est quand même particulièrement alarmant : selon les auteurs, une phase d'immersion virtuelle (qui a dû durer a priori entre 15 minutes et un heure) suffirait à infuser celui ou celle qui s'y adonne de présupposés sur la culture du viol (qui est bien un phénomène de « culture » : un ensemble de préjugés et d'aprioris qui finissent par fausser la vision que l'on a du monde parce qu'on y baigne constamment depuis des années et des années). J'espère sincèrement, pour le salut de l'humanité, que nous ne sommes pas influençables à ce point (sinon on va voir se monter des « thérapies » idéologiques à base de quelques séances de jeu de 15 minutes et on aura l'air malins).

On peut en tout cas noter que ce qui ressort de l'étude («  jouer à un jeu impliquant un avatar sexualisé ou hyper-sexualisé pousserait donc à plus grand objectivation de soi » et «  jouer à un jeu impliquant un avatar ressemblant pousserait donc à davantage approuver les mythes liés à la culture du viol » ne correspond pas à ce qu'affirme le Huffington Post. L'article du Post est donc faux, et le simple fait de lire correctement le résumé de l'étude aurait du suffire à éviter cette faute. En fait, si on se base sur l'étude en question, des jeux mettant en scène des avatars hyper-sexualisés et trop fantasques pour ressembler à la personne qui joue, comme Tomb Raider (les anciens, pas celui de 2013) ou Bayonetta, présenteraient moins de risques en termes d'acceptation de la culture du viol que ceux qui permettent de jouer un personnage moins sexualisé mais ressemblant (comme Skyrim). Voila qui pourrait relativiser pas mal de présupposés (mais le propos de « prendre des pincettes » marche dans les deux sens : évitons les conclusions hâtives et attendons que d'autres études abordent la question)

A présent, il ne faut pas être dupe : on peut très certainement trouver le même genre de fautes et de reprises approximatives dans beaucoup d'articles voulant « reprendre des publications scientifiques », y compris ceux qui viennent nous expliquer que le jeu vidéo est bon pour les enfants et permettrait de sauver le monde. Slate.fr a fait d'ailleurs en août dernier un billet sur l'étude américaine qui décrédibilise les études américaines. Tout ce courant à base de « on a trouvé un papier scientifique qui affirme un truc, dépêchons-nous de faire un article dessus sans le revérifier ».

Pour se sortir de ce phénomène (que personnellement je trouve inquiétant, mais c'est peut-être mon coté scientifique psychorigide), il n'y a pas trente-six solutions : quand un article parle d'une étude scientifique, ne le prenez pas pour argent comptant. Vérifiez systématiquement s'il cite sa source, et allez la lire, avec un œil critique. Oui, c'est généralement de l'anglais, oui, c'est du vocabulaire scientifique, et oui, ça demande de réfléchir à ce qu'on lit et pas de simplement avaler et intégrer le propos. Mais vous verrez que votre compétence en « lire des articles scientifiques » va très vite progresser si vous vous exercez. Si vous constatez une erreur de reprise, ou une étude source peu convaincante (taille d'échantillon, protocole, conclusions hâtives), signalez-le systématiquement au journaliste qui l'a repris sans faire attention. A force de pointer leurs erreurs à ceux qui en font, ça devrait finir par rentrer, et les pousser à être plus vigilants.

Et ne réservez pas ce regard critique aux seules études qui vous déplaisent, il ne faut pas entrer non plus dans le biais de confirmation (qui consiste à ne tenir compte que des études qui vont dans le sens de nos aprioris). Quand on veut entrer dans un véritable questionnement scientifique, il faut être prêt à voir toutes ses connaissances et convictions remises en cause.

Bien entendu, cette démarche critique ne peut fonctionner que si le grand public a effectivement accès aux études concernées. Pour le coup c'est une chance que les auteurs de l'étude en question l'ait republiée de leur coté, parce que la version d'origine disponible chez Elsevier coûte 19,95$ (ouaip, 19,95$ pour un article de 10 pages, et après vous allez vous plaindre que la musique et les films sont chers). Je parlais il y a quelques temps de l'importance de sortir de cette main-mise des éditeurs scientifiques sur les publications de chercheurs, et voici ici un exemple criant de l'importance de l'open access pour la diffusion scientifique. Il ne peut y avoir de science que publique, critiquable, et accessible à tous.

Bonus track : l'Effet Proteus

Pour finir, et en revenir une dernière fois aux approximations scientifiques du Huffington Post, un retour sur un autre paragraphe, qui parle lui de l'effet Proteus :

Parce que des études ont montré que plus le personnage joué ressemble au joueur, plus il a une influence sur la vie réelle de la personne. Selon une étude de 1972 détaillée dans celle de Stanford, on infère nos croyances et attitudes des comportements qu'on observe. C'est ce qui s'appelle "l'effet Proteus".

Ce paragraphe est en fait symptomatique de tout ce qui ne va pas dans cet article, puisqu'il fait un mélange complet entre deux études différentes, pour en ressortir un propos qui au final n'a pas de sens.

L'effet Proteus est donc en psychologie un phénomène selon lequel un individu endossant un avatar dans un environnement virtuel adapterait son comportement en fonction de l'apparence de l'avatar en question, il s'agit d'un phénomène identifié en 2007 par Nick Yee et Jeremy Bailenson (le même que dans l'étude détaillée plus haut) dans The Proteus Effect: The Effect of Transformed Self-Representation on Behavior publié dans la revue Human Communication Research. Les travaux de 1972 auxquels il est fait référence sont plus vraisemblablement ceux sur la théorie de la perception de soi de Daryl J. Bern (disponibles ici). Il est évident que les travaux de Yee et Bailenson se placent dans la lignée de ceux de Bern, vu qu'ils s'intéressent à la perception qu'une personne aura d'elle-même en fonction du contexte dans lequel elle évolue. Mais il s'agit bien de travaux distincts, menés par des chercheurs différents, à 35 ans d'écart. Bern n'a pas employé les termes d'effet Proteus en 1972, et pour cause : il aurait eu du mal à étudier la ressemblance de l'avatar au joueur, vu qu'en 1972, l'avatar le plus couramment employé dans le jeu vidéo était une barre verticale de quelques pixels de hauts.

Donc affirmer en un paragraphe que l'Effet Proteus est le nom d'un phénomène identifié lors d'une étude effectuée en 1972 sur le lien entre avatar et joueur dans un jeu vidéo est juste une énormité qui aurait pu être évitée si l'auteur de l'article avait fait plus attention à ses sources et à sa formulation. Mais visiblement au Huffington Post, ça n'a pas choqué qui que ce soit.