L’open access nuit-il à la qualité scientifique ?

 
Dans Documentaliste – sciences de l’information, n°50 – 4, est paru récemment un article répo…

 

 

Dans Documentaliste – sciences de l’information, n°50 – 4, est paru récemment un article répondant au titre ci-dessus. Le texte est déposé dans HAL en version auteur (l’éditeur n’accepte pas le dépôt du PDF-imprimeur, il sera disponible d’ici deux ans. Amusant, pour un article sur l’Open Access, non ?)

Comme, pour respecter le calibrage de la revue, j’avais un peu contracté mon texte, je m’offre ici le luxe d’une parution en version longue. Je ne promets pas que le lecteur y gagne.

  • Si vous êtes pressé, allez donc lire le texte déposé sur HAL.
  • Si vous êtes vraiment très pressé, pourquoi perdez-vous votre temps sur un blog ?

 —

Open Acces Cookie, publié sur FlickR par Biblioteekje sous licence Creative Commons Attribution, Pas d'utilisation commerciale, Partage à l'identiqueOpen Acces Cookie, publié sur FlickR par Biblioteekje, sous licence Creative Commons Attribution, Pas d’utilisation commerciale, Partage à l’identique.

L’Open access (ou accès ouvert, abrégé indifféremment AO ou OA) se définit de façon concise et simple : un article, une revue, est en accès ouvert si chacun peut y accéder gratuitement en ligne. Cette définition amène presque toujours une question qui dépasse largement le monde scientifique :

Mais si c’est gratuit, qu’est ce que ça vaut ?

C’est toute la teneur du débat actuel, bien légitime. L’association entre la valeur scientifique d’une revue et son prix est si spontanée, si répandue et si injustifiée, qu’elle satisfait parfaitement la maxime de Tocqueville

« une idée fausse, mais claire et précise, aura toujours plus de puissance dans le monde qu’une idée vraie, mais complexe… » (De la démocratie en Amérique, chap. VIII)

Le très gros bon sens mal appliqué (il l’est souvent, d’où cette maxime désabusée) postule que ce qui ne coûte rien ne doit pas valoir grand chose et réciproquement, que ce qui est vendu cher a sûrement beaucoup de valeur. Appliqué aux revues : les grandes revues scientifiques peuvent (voire doivent !) être chères, et celles qui ne sont pas chères ne sont sans doute pas très scientifiques. Inutile dans ce cas d’évoquer celles qui sont gratuites…

L’abonnement, garant de valeur scientifique ?

L’examen des tarifs pratiqués dans la grande édition scientifique, tout en procurant le frisson cosmique de l’infiniment grand, semble confirmer l’intuition. Voulez-vous vous abonner à Tetrahedron, chez Elsevier ? En 2013 c’est plus de 18 000 €. Chez Springer, 13257 € pour le Journal of Materials Science au tarif 2014. Chez Wiley, le Journal of Polymer Science coûtait plus de 11000 € en 2013. Certaines sociétés savantes, à but non lucratif, ont emboîté le pas. Les titres de l’American Chemical Society inspirent le plus grand respect par leurs tarifs : près de 9000 $ en 2012 pour les trois titres Journal of Chemistry A, B, C, plus de 5000 pour Biochemistry.

Ce sont là de grandes revues scientifiques. Elles sont très chères. De là à établir un lien de causalité entre les deux propositions puis à en déduire réciproquement qu’une revue peu coûteuse n’est pas scientifique, il n’y a que deux petits pas.

Ce sont deux faux pas, et dangereux. Mais que pourrait inciter à franchir l’argumentaire de certains éditeurs : à parcourir le site de l’AAP (Association of American Publishers) et la polémique fruste et agressive de l’opération de lobbying qui en émanait, PRISM (Partnership for Research Integrity in Science and Medicine), on comprend que l’édition est un métier, et que rendre l’accès gratuit, c’est détruire la garantie de qualité apportée par le métier (en France on ajoute volontiers : « et les emplois qui s’y attachent »).

L’assimilation entre processus éditorial (la chaîne de publication) et processus de relecture (celui qui amène un scientifique à dire : « cet article est bon parce qu’il apporte quelque chose »), entre validation scientifique et valeur marchande est pourtant abusive, puisque la relecture et la validation scientifique, qui relèvent du travail des chercheurs, ne sont pas rémunérées par l’éditeur. D’ailleurs, toutes les grandes revues scientifiques ne coûtent pas cher. Le Journal of Topology, publié par Oxford University Press est à peu près 14 fois moins cher que le Journal of Algebra d’Elsevier (500 € contre 6885 d’après les tarifs 2013 disponibles en ligne) Est-ce à dire qu’il est 14 fois moins scientifique ? Pour répondre, empruntons un instant, avec des pincettes, la jauge grossière qui sert à l’évaluation des revues, l’impact factor, en l’admettant comme mesure approximative du prestige scientifique. Le Journal of Algebra affiche 0,583, le Journal of Topology 0,672. À supposer que l’impact factor exprime valablement le prestige scientifique d’une revue, le Journal of Algebra, 14 fois plus cher, est si l’on ose dire 15 % moins prestigieux.

Le prix de l’abonnement n’est donc pas corrélé de façon fiable à la valeur scientifique d’une revue (CQFD). Voyons maintenant si l’accès ouvert offre de meilleures garanties.

L’open access peut-il garantir la valeur scientifique ?

Les revues en accès libre (open access) […] proposent leur contenu gratuitement accessible sur internet. Une avancée pour la diffusion du savoir ? Certainement. Mais aussi un insidieux facteur de détérioration de la qualité de la science publiée1.

Le fragile bon sens voit bien en quoi l’AO peut servir l’avancée du savoir. La science mise à la portée de tous, c’est la possibilité pour chacun, y compris les pauvres en euros riches en neurones2, d’aller à la source de l’information, de la vérifier, corriger ou utiliser, contribuant ainsi à la progression de la connaissance. Cette intuition (ou ce rêve) préside au succès mérité de Wikipedia.

Où est donc le danger ? Il a été illustré brillamment par un article de John Bohannon dans Science : une des façons de financer l’OA est de déplacer le paiement du lecteur à l’auteur, en lui faisant payer des frais de publication (APC, article processing charges, ou « frais de traitement d’article ») pour couvrir les coûts (temps de travail, infrastructure éditoriale, plateforme électronique de publication). Or, ces frais de publication sont sujets au dérapage autant et plus que les abonnements. Mais surtout, leur montant ne garantit nullement le caractère scientifique de la revue.

Pourquoi ? Parce que l’auteur a intérêt à publier. Il sera donc tenté, le cas échéant, de débourser de fortes sommes pour que son article paraisse, même s’il est médiocre (ou pire, plagié ou falsifié). Quant à l’éditeur, s’il trouve des auteurs prêts à payer, il n’aura pas intérêt à être regardant sur la qualité des articles proposés, ni sur la rigueur de la relecture scientifique. Danger illustré de façon remarquable par l’expérience de John Bohannon : 304 soumissions d’un même article sciemment falsifié3 : 157 acceptations, 96 refus. Notons que cette sorte de réédition à grande échelle, vingt ans après, de l’expérience cruelle du professeur Sokal, ne prouve rien concernant l’Open Access en général, ni même concernant les éditeurs concernés. Bohannon signale que « Les journaux [en Open access, NDLA] publiés par Elsevier, Wolters Kluwer, et Sage ont tous accepté mon papier bidon. ». Inversement, et j’avoue avoir été très heureux de l’apprendre, le fleuron de l’AO, PLOS ONE, a rejeté l’article après une révision attentive et sévère4. On note en revanche que parmi les titres répertoriés dans le DOAJ (Directory of Open Access Journals qui se pique de sélectionner les titres auxquels il renvoie) auxquels l’article a été soumis, près de la moitié l’ont accepté.

Il ne fait aucun doute que celui qui est prêt à payer assez cher trouvera toujours un journal prêt à le publier. Avec l’Open Access sont nés de nouveaux éditeurs « prédateurs », qui font payer très chers des auteurs pour publier des articles sans les faire expertiser par des scientifiques. Ces éditeurs font même l’objet d’une liste noire disponible en ligne5.

Si la hauteur des abonnements ne garantit pas, en elle-même, la qualité de la production scientifique, la hauteur des frais de traitement des articles ne fait pas mieux. Abonnement ou Open Access, on s’égare si l’on cherche à établir un lien entre la fiabilité de l’article et l’argent dépensé pour le publier.

 

Concilier valeur scientifique et acceptabilité économique ?

 

Cet engagement public pour le libre accès aux articles scientifiques suffira-t-il à tarir la manne dont les éditeurs, qu’ils soient ou non prédateurs, se repaissent ? Possible, mais elle ne viendra en aucun cas à bout de la course effrénée à la publication qui est à la source de la dégradation de la qualité des articles scientifiques6.

Accuser les éditeurs de rapacité ne dédouane pas le monde scientifique de sa responsabilité : les articles passent plus facilement qu’avant la barrière de la relecture. Le taux de rétractations après publication a été multiplié par 20 depuis 10 ans, au point de devenir en soi un objet d’étude. Tout se passe comme si l’inflation de la production scientifique et l’envol de ses tarifs allait de pair avec une inexorable dilution du contenu et une perte rapide de rigueur et de qualité.

 Les failles du système de publication et d’évaluation scientifique sont signalées avec constance depuis bien longtemps. L’utilisation de l’Impact factor, le classement des revues, le comptage des publications et l’utilisation de données quantitatives brutes dans l’évaluation des chercheurs a conféré à ces critères un poids considérable, alors qu’ils relèvent de la notoriété, sont anti-scientifiques au possible et très faciles à falsifier. On sait que tout indicateur mesuré tend à s’améliorer, car ceux qui sont évalués à son aune s’efforcent de s’y conformer au mieux de leurs intérêts. L’instauration d’un lien trop direct et trop fruste entre notoriété perçue, publications et carrière, incite à la surenchère : publication à la découpe pour faire du chiffre, plagiat pour aller plus vite, fraude scientifique pour atteindre les revues qui comptent. Forçons le trait7, à l’extrême, un chercheur devrait aujourd’hui démarcher des revues pour caser ses articles et gagner des citations, comme un vendeur démarche ses prospects pour arracher des deals et atteindre ses targets8.

Corriger le tir demande des changements systémiques considérables. La refonte ou la mise à bas du système de notation des revues va devenir inévitable tant la dégradation qualitative est patente. Mais il s’agirait de rien de moins que d’éliminer, dans l’activité des chercheurs, toute pression aux résultats ! Vouloir qu’une expérience réussisse est humain, mais ce n’est pas scientifique. Le processus de publication doit donc évacuer toute hâte, car un bon travail prend forcément beaucoup de temps, passé à expérimenter, produire, relire, vérifier, et souvent à explorer des impasses. En bonne science, les expérimentations ratées sont des réussites. Les réplications aussi. C’est l’intuition du mouvement slow science et de la reproducibility initiative : on voit que les éléments de refondation ne manquent pas. Et l’éthique personnelle se mêle intimement à l’enjeu systémique. C’est le refus des chercheurs de publier vite, beaucoup et mal, qui permettra à la science de retrouver rigueur et fiabilité, au prix d’un peu de lenteur.

Bien sûr, les points relevant de la régulation économique font aussi l’objet d’une attention soutenue. Libérer un marché captif et monopolistique9 pour le rendre de nouveau concurrentiel est un but politique, et non scientifique (ou disons, un but de politique scientifique…), mais légitime quand même. D’où l’importance

  • de développer l’OA « voie verte »10, en complément de l’abonnement, ce qui manifeste la distinction entre le service fourni par l’éditeur (processus éditorial, plateforme d’accès et services liés) et la production scientifique proprement dite (résultat du travail scientifique de l’auteur et du relecteur, rémunéré par les fonds publics, et donc librement mis à disposition) ;
  • de restaurer un circuit public d’édition (Open Edition Freemium, Episciences, avec ses deux titres qui démarrent, sont autant d’exemples naissants) qui ôte aux éditeurs commerciaux un monopole dangereux. Il s’agit bien de faire disparaître, ni plus ni moins, les revues chères, qui sont des parasites du monde scientifique, en publiant largement les coûts comparés des éditeurs. Car si l’on postule que la science contient une exigence intrinsèque de gratuité, garante de son désintéressement, il y a, ou il devrait y avoir dans l’édition scientifique un rapport rigide entre coût de production et valeur marchande. Or les coûts de production de l’édition scientifique sont, et vont être, de mieux en mieux connus au fur et à mesure que l’OA se développe. La communauté scientifique porte déjà son attention sur ce point et l’on peut compter sur elle pour faire pression sur les éditeurs, puisqu’ils proclament avec constance et passion qu’ils sont au service de la recherche.

La question de savoir si « la science doit être gratuite » est mal posée. Le travail scientifique et le travail éditorial ont un coût, il faut qu’il soit supporté. Il est donc inévitable, mais souhaitable aussi que coexistent le système de l’abonnement, le système de l’auteur-payeur, celui de la revue publiée sur fonds publics, etc. Ces systèmes, en coexistant, peuvent s’obliger réciproquement à plus de rigueur. Reste qu’il doit y avoir une exigence scientifique, intellectuelle, du circuit de production scientifique ; et une exigence politique, déontologique, du circuit de production éditoriale. La question est donc de savoir si nous préférons une science rapide, ou fiable, rémunératrice ou rigoureuse, austère ou obèse. Ces exigences sont ne sont pas indéfiniment conciliables. Vérifier prend du temps, la rigueur suppose le désintéressement, et une haute exigence ne peut s’appliquer qu’à des objets en nombre réduit, pour qu’une attention nécessaire puisse être accordée à chacun. Produire beaucoup et produire bien est difficile. Si produire beaucoup est la priorité, alors produire bien est impossible.

 

  1. Nicolas Chevassus-au-Louis, « Chercheurs pris en fraude [4/5]. Le piège de la gratuité » dans Mediapart, le jeudi 15 août 2013
  2. Voir à ce sujet l’histoire assez jolie relatée sur le blog Homo numericus : « Impressions d’automne 1: le cas Meredith ». Mais je n’ai pas pu vérifier si l’article en question a effectivement été publié, ce qui oblige à rester prudent.
  3. l’article était rédigé de façon à contenir des erreurs scientifiques criantes et des manquements éthiques assez voyants pour tout relecteur scientifique.
  4. « PLOS ONE a été le seul journal à attirer l’attention sur les problèmes éthiques posés par le papier […] PLOS ONE a rejeté le papier deux semaines après, en se fondant sur son contenu scientifique. » (je traduis).
  5. Parmi les éditeurs répertoriés sur ce site qui ont reçu le papier de Bohannon, 82 % l’ont accepté.
  6. Nicolas Chevassus-au-Louis, « Chercheurs pris en fraude [4/5]. Le piège de la gratuité » dans Mediapart, le jeudi 15 août 2013.
  7. avec mes excuses respectueuses aux chercheurs, mon propos est général
  8. mes excuses aux vendeurs aussi, après tout. C’est un métier plein de mérites, du moment qu’il est exercé avec plus d’attention au client qu’au chiffre d’affaires.
  9. Les connaisseurs disent :  « oligopolistique à franges »
  10. Dans l’OA « voie verte », l’auteur publie dans une revue classique (sous abonnement) mais auto-archive ensuite son texte dans un dépôt électronique institutionnel pour qu’il soit librement accessible en ligne