Opinion: Une étude d’examen par les pairs compromet la réponse aux préjugés sexistes -Ecologie, science



jen janvier, Progrès scientifiques a publié un projet massif analysant les résultats de l’examen par les pairs de 350 000 manuscrits de 145 revues qui n’ont trouvé aucune preuve de préjugé sexiste à la suite de la soumission du manuscrit. À peine un mois plus tôt, mes collègues et moi avons publié dans mBio une étude similaire, quoique à plus petite échelle, qui analysait les résultats de l’examen par les pairs de 108 000 soumissions de manuscrits à 13 revues de l’American Society for Microbiology (ASM). Notre étude a révélé une tendance constante pour les manuscrits soumis par des femmes auteurs correspondants à recevoir plus de résultats négatifs que ceux soumis par des hommes. Les deux projets ont analysé six années de données de soumission qui ne sont disponibles que pour les éditeurs de revues, mais sont parvenues à des conclusions différentes.

Voir «Aucun préjugé sexiste dans l’évaluation par les pairs: étude»

En novembre 2020, Communications de la nature a publié un article concluant que les femmes stagiaires devraient rechercher des conseillers masculins car elles sont de meilleurs mentors que les femmes. Cette conclusion s’oppose aux données montrant que les modèles féminins s’améliorent performance et rétention des femmes dans les STEM. Une lecture plus approfondie de la Communications de la nature L’article révèle qu’après avoir constaté que les hommes sont cités plus souvent que les femmes, les auteurs sont arrivés à leur conclusion en assimilant les citations à la qualité du mentorat. De plus, les auteurs n’ont pas inclus une revue de la littérature solide, qui aurait contextualisé leurs résultats et affiné leur conclusion. Après une poussée des scientifiques sur les médias sociaux, la publication de l’article a été étudiée, et le journal a depuis été rétracté.

Si de telles études peuvent être menées avec de bonnes intentions, elles sont dangereuses si elles ne sont pas menées correctement. Des résultats contradictoires peuvent réduire la confiance dans les résultats des questions d’équité – les croyances préexistantes sont difficiles à changer – et faire obstacle aux changements de politique pour réduire ces problèmes d’équité. De même, l’étude récente des préjugés sexistes dans l’évaluation par les pairs peut sembler robuste avec un vaste ensemble de données et une analyse qui pose les bonnes questions, mais un examen plus approfondi révèle des opportunités manquées qui, au lieu de cela, obscurcissent les discussions sur l’équité dans l’évaluation par les pairs. Voici trois problèmes liés à l’étude plus vaste et plus récente qui peuvent avoir affecté les résultats.

La sélection de revues n’est pas robuste

Cette analyse comprenait la soumission de manuscrits et les résultats de l’examen par les pairs de trois grands éditeurs à but lucratif, Elsevier, Wiley et Springer Nature. Ces éditeurs sont responsables de plus de 6000 revues, dont Cellule, The Lancet, Le BMJ, et La nature. Au lieu d’utiliser un processus de sélection aléatoire, les éditeurs ont choisi 157 revues qui ont été regroupées en quatre champs. De cette base de données, les auteurs ont éliminé les revues dépourvues de facteurs d’impact, publiées par «sociétés savantes, ou [had] statut juridique spécifique. » La justification et les critères du processus de sélection n’étaient pas clairs et il en résultait une mauvaise représentation des revues de sciences sociales (20/157) et un échantillonnage par ailleurs insuffisamment robuste ou rigoureux pour produire des résultats largement généralisables.

Chaque soumission de manuscrit est traitée comme une seule unité

Lors de la soumission, les manuscrits se voient attribuer un numéro unique et, bien que les protocoles de revue varient, ces numéros de manuscrit peuvent être utilisés pour suivre un manuscrit à travers plusieurs résultats dans une seule revue ou dans des revues au sein d’une franchise, en particulier lorsque les données sur le titre et l’auteur sont disponibles. Les éditeurs sélectionnés gèrent chacun des franchises de revues avec des structures d’édition à plusieurs niveaux. Par exemple, les manuscrits rejetés de La nature peut à la place être publié dans Chimie de la nature ou Rapports scientifiques.

Malheureusement, dans le Progrès scientifiques papier, les titres des revues n’étaient pas disponibles pour voir si cela était probable. Les auteurs ont noté que le facteur d’impact le plus élevé dans leur ensemble de données, qui couvrait les articles publiés entre 2010 et 2016, était de 10. De nombreuses revues de ces franchises d’édition ont des facteurs d’impact élevés, souvent entre 16 et 35, ce qui semble les exclure de l’étude . cependant, en 2016, revues comprenant Lancette VIH, Médecine BMC, Protocoles de la nature, et Rapports de cellule avaient des facteurs d’impact inférieurs à 10, il est donc possible que ce scénario s’applique aux manuscrits de cette étude.

De plus, en traitant chaque soumission de manuscrit comme une seule unité, plutôt que de lier un manuscrit par le biais de soumissions et de refus multiples (par exemple, par titres, auteurs ou numéros de manuscrit associés), l’analyse ne parvient pas à capturer toute l’histoire. Non seulement il n’est pas clair si un manuscrit a été rejeté par d’autres revues avant d’être accepté, mais l’analyse masque d’autres sanctions fondées sur le sexe. Par exemple, le temps que les femmes auteurs passent à effectuer des révisions – notre mBio étude a montré un 1 à 9 jours supplémentaires, malgré des délais de décision similaires et un nombre équivalent de révisions – peut indiquer des différences dans les suggestions des examinateurs, les ressources disponibles et / ou les résultats de publication.

Les rejets de bureau ne sont pas évalués

L’examen par les pairs est le plus souvent associé à la rétroaction longue, parfois abusive, fournie par deux ou plusieurs collègues universitaires. À l’inverse, le rôle des éditeurs dans le processus peut être négligé ou exclu malgré leur expertise académique et spécifique au domaine. En fait, les éditeurs sont les premiers pairs dont les attentes doivent être satisfaites ou dépassées, et leurs décisions sont souvent unilatérales. Par conséquent, les refus éditoriaux (appelés «rejets de bureau») étaient meilleure source des résultats basés sur le genre dans notre étude ASM. Le fait de ne pas évaluer cette étape cruciale du processus ignore une source potentielle de biais importante. Les auteurs ont expliqué leur intérêt pour les articles soumis à examen en déclarant que ces «données sur les rejets de bureau n’étaient pas toujours disponibles». Cependant, avec un ensemble de données de plus de 300 000 révisé manuscrits de 145 revues, il est raisonnable de conclure qu’ils disposaient de suffisamment de données pour une analyse robuste de cette étape de l’examen par les pairs.

Comme l’étude qui assimilait les citations au mentorat, le Progrès scientifiques le papier a raté la cible. Bien que les auteurs aient pris soin de cadrer leur discussion dans le contexte de la littérature précédente, ils n’ont pas évalué tous les résultats potentiels du processus d’examen par les pairs, ignorant ainsi de nombreuses sources potentielles d’iniquité. Cela obscurcit la discussion sur le rôle des revues dans l’iniquité scientifique et empêche la responsabilité et le changement à plusieurs niveaux, de l’individu à la revue et à l’éditeur.

En fin de compte, un système d’échantillonnage robuste, une enquête sur les franchises de revues et une évaluation des refus éditoriaux auraient dû être des exigences des examinateurs. Cependant, les revues ne disposent pas de l’infrastructure nécessaire pour évaluer de manière appropriée les études fondées sur l’équité, comme en témoigne le recul croissant des sexiste et raciste papiers. Cela tient en grande partie au fait que les rédacteurs en chef et les réviseurs ont peu ou pas de formation et / ou d’expertise dans l’étude des questions d’équité (race / sexe / handicap, etc.) Notre expérience en tant qu’humains et scientifiques nous aveugle sur le fait que la réalisation et l’évaluation d’études sur les questions d’équité STEM nécessitent une expertise spécifique au domaine que tous les scientifiques n’ont pas. Il est urgent que les éditeurs en soient conscients lorsqu’ils examinent la recherche fondée sur l’équité et agissent en conséquence, de préférence en veillant à ce que ces manuscrits adhèrent à une rubrique d’équité et à ce que les examinateurs appropriés soient recrutés et rémunérés. Que ce soit en conservant un pool de chercheurs sur l’équité pour examiner les articles fondés sur l’équité soumis à des revues scientifiques, ou par d’autres moyens, les éditeurs et les revues doivent soit renforcer et appliquer des critiques solides, soit cesser de les accepter. Tout le reste est contraire à l’éthique.

Ada Hagan est un microbiologiste passionné de rendre la science accessible. En 2019, Hagan a fondé Alliance SciComm & Consulting, LLC pour lui permettre d’utiliser sa solide expérience en communication et en enseignement supérieur pour aider à rendre les concepts scientifiques plus faciles à comprendre et à rendre l’académie plus inclusive pour les futurs scientifiques de tous horizons.

Réponse: Malgré les limites, l’étude offre des indices sur les préjugés sexistes

L’estimation des sources possibles des inégalités entre les sexes dans les processus d’examen par les pairs et de rédaction dans les revues savantes est une entreprise difficile pour diverses raisons. Il existe de sérieux obstacles à des études expérimentales solides et croisées testant des hypothèses causales en manipulant les informations et les contextes des manuscrits, des auteurs et des arbitres. La réalisation d’études rétrospectives est donc la seule option, ce qui est également loin d’être simple en raison du manque d’infrastructure de partage de données entre les éditeurs et les revues. Bien que cela rend toute généralisation des résultats problématique et limitée, je crois qu’il est essentiel d’étudier l’examen par les pairs avec des données croisées à grande échelle, pour éviter de surestimer les cas individuels. C’est ce que nous avons essayé de faire dans notre récent Progrès scientifiques article.

Alors que nous savions que nos résultats pourraient être controversés, je suis surpris par la façon dont Ada Hagan a mal interprété nos recherches et je voudrais commenter les trois points sur lesquels elle a fondé son opinion.

Lire la suite.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *