This week took place Berlin11, the big international event about open access. I didn’t have the opportunity to be there, but I could follow some interesting discussions on twitter, especially about the Open Access Button, a tool that let you see in real time the impact of paywalls, these barriers that prevent researchers from accessing to content which their institution has not subscribed to. These walls exist, no doubt. But only on publishers websites. There are sideways that lead, ideally, to the same content. Green Open access is all about this, when a researcher decides to put one or several versions of his article on an institutional repository, whether local or national.

I don’t know how a researcher who enventually clicked on the Open Access button to say that he didn’t have access to the article he wanted got its reference. Google Scholar ? His library’s discovery tool ? A link to a reference cited by an article he had access to ? In any case, are we sure that the article he wanted to get did not exist in green open access and was simply not visible ?

A brief overlook of the literature seems to confirm that the visibility, well the lack of visibility, is a problem for institutional repositories. Google Scholar for instance doesn’t like Dublin Core, which is generally used by repositories that expose their metadata via OAI-PMH, and needs the metadata to be structured in another way in order to crawl efficiently the repositories. The IRs that stick to Googles Scholar needs get a significantly better indexing ratio (cf this 2012 article from Library Hi Tech)

Even if Google Scholar represents a high proportion of usages, it shouldn’t be the only way to improve green open access articles visibility. Another strategy for IR, followed for instance by ORBi, the Université de Liège repository, consists in letting discovery tools vendors index them (at least Primo, Summon andEDS offer this possibility). Metadata are agregated into the mega-indexes of this kind of tools. I imagine and hope (but I don’t really know) that there is some deduplication processes that create a link between every accessible version of an article, including the green open access one. These methods are interesting, but it is far from being enough I think. You are still stuck in a silo (Google Scholar or the library’s discovery tool), and not particularly where the researcher is (on Pubmed, on an article,…).

In fact, when you try to access to the open access version of an article, you are in front of the appropriate copy problem, that is supposed to be solved by the openurl standard. I feel that the best way to give visibility to the content of institutional repositories is to use tools that analyze metadata (title, author name, DOI,…) and find the matching reference in a IR. Dspace, one of the most popular IR software in the world, is OpenURL compliant. However, I can’t imagine a librarian who would tick in his institution’s knowledge base all the repositories he wants to make visible to his patrons. But I recently came across a Japanese project, quite old but still active, which seems to be a very interesting lead : AIRway (Access path to Institutional Resources via link resolvers). Airway « is aimed to achieve the navigation to open access documents collected in institutional repositories etc. by link resolvers ». AIRway target exists in several lik resolver interfaces (SFX, WorldCat Link Manager, TOUResolver, but not Serials Solutions one). Here are the system requirements :

  • Operate Institutional repository corresponding to OAI-PMH.
  • All items must be accompanying of the main body of the document. Or Somehow, the identification of the item with a main body of the document must be possible. (As example, state of specific element or « set », which is defined by OAI-PMH, etc.)
  • Availability of publisher version DOI or data such as ISSN, volume, starting page,…

These prerequisites seem pretty easy to meet, yet AIRway is only used  by seventeen IR (you can find Max Planck Society one, though). What prevents or has prevented IR from using this service? Is it only its lack of notoriety?

Imagine the power of such a tool  combined with a strong political will to promote  ZEN green open access ! Wouldn’t it be a great opportunity to ask ourselves about the legitimity of keeping subscriptions to scholarly journals that are more and more expensive and become a burden for academic libraries ?

Cette semaine a eu lieu Berlin11, grand raout international autour de l’open access. Je n’ai pas eu la chance d’y être mais ai pu suivre via twitter quelques échanges intéressants, notamment sur l’Open Access Button, un dispositif permettant de voir en temps réel l’impact des paywalls, ces murs auxquels se heurtent les chercheurs essayant d’accéder à du contenu auquel leur institution n’a pas souscrit. Ces murs existent de manière incontestable. Mais ils n’existent que sur les sites des éditeurs. Il y a également des chemins de traverse qui permettent, au moins idéalement, d’accéder au même contenu. C’est tout l’intérêt du green open access, suivant lequel un chercheur  décide de déposer une ou plusieurs versions d’un article dans un dépôt institutionnel, qu’il soit local ou national.

Je ne sais pas comment un chercheur qui a finalement cliqué sur l’Open Acces button pour signifier qu’il n’avait pas accès à l’article a eu accès à la référence de cet article. Google Scholar ? L’outil de découverte mis à disposition par sa bibliothèque universitaire ? Un lien vers une référence citée par un article auquel il avait accès ? Dans tous les cas, est-on sûr que l’article qu’il souhaitait obtenir n’existait pas en green open access, et qu’il n’était tout simplement pas visible ?

Un bref survol de la littérature semble confirmer que la visibilité, ou plutôt le manque de visibilité, est problématique pour les dépôts institutionnels. Google Scholar par exemple n’aime pas trop le Dublin Core, utilisé en règle générale par les dépôts qui exposent leur métadonnées via OAI-PMH, et a besoin de métadonnées structurées différemment afin de crawler efficacement les dépôts. Ceux qui se conforment aux besoins de Google Scholar obtiennent un taux d’indexation significativement plus important (voir cet article de 2012 de Library Hi Tech).  Mais si Google Scholar concentre une part importante des usages, il ne faut bien évidemment pas se cantonner à ce seul moyen pour donner plus de visibilité aux articles en green open access. Une autre stratégie, suivie par exemple par ORBi, le dépôt institutionnel de l’Université de Liège, consiste à se faire indexer par les fournisseurs d’outils de découverte (au moins Primo, Summon et EDS proposent cela). Il s’agit alors d’intégrer les métadonnées au sein des méga-index de ces outils. J’imagine et j’espère (mais je n’en sais rien) qu’il y a ensuite une sorte de dédoublonnage permettant de faire le lien entre un article et toutes les versions accessibles , y compris en green open access. Ces méthodes sont intéressantes mais loin d’être suffisante à mon sens. On reste dans un silo (Google Scholar d’un côté, l’outil de découverte de sa bibliothèque de l’autre), et pas forcément là où est le chercheur (sur Pubmed, sur un article,…).

En fait, le problème de l’accès à une version open access d’un article est exactement le même que celui de la copie appropriée, cher aux développeurs de la norme Openurl. La meilleure façon, à mon sens, de rendre visible le contenu de dépôts institutionnels est de passer par un outil qui, en analysant les métadonnées (titre, auteur, doi,…) d’un article auquel on souhaite accéder trouve la correspondance dans un dépôt institutionnel. Dspace, l’un des outils de création de dépôt institutionnel les plus utilisés au monde, est compatible avec la norme OpenURL. Toutefois, il semble fastidieux pour une institution de pointer dans sa base de connaissance locale tous les dépôts qu’elle veut rendre visibles à ses usagers. En revanche, je suis tombé tout récemment sur une initiative japonaise, assez ancienne mais toujours active, qui me semble être une piste extrêmement intéressante : AIRway (Access path to Institutional Resources via link resolvers). Airway est un service dont le but est de permettre l’accès aux documents présents dans les dépôts institutionnels via les résolveurs de lien. La cible AIRway est activable dans plusieurs résolveurs de lien (SFX, WorldCat Link Manager, TOUResolver, mais pas celui de Serials Solutions). Pour qu’un dépôt institutionnel puisse utiliser AIRway il faut :

  1. Qu’il puisse clairement distinguer les enregistrements proposant le texte intégral de ceux qui n’ont que des métadonnées bibliographiques
  2. Qu’il dispose dans ses métadonnées descriptives des éléments correspondant à la version finale de l’article publiée sur le site de l’éditeur (DOI, ISSN de la revue, n° de volume, pagination,…)
  3. Qu’il puisse être moissonné par OAI-PMH

Ces prérequis semblent être facilement obervés, pourtant AIRway n’est utilisé que par une grosse quinzaine de dépôt (parmi lesquels celui de la société Max Planck, quand même). Quels sont les obstacles qui conduisent ou ont conduit les établissements qui ont des dépôts institutionnels à ne pas utiliser ce service? Est-ce le simple manque de notoriété d’AIRway ?

Imaginez la puissance d’un tel outil largement adopté combiné avec une volonté politique forte de promotion d’un ZEN green open access ! Cela ne permettrait-il pas de véritablement rebattre les cartes et de se poser sérieusement la question de la légitimité de maintenir des abonnements pesant de plus en plus sur les budgets des bibliothèques universitaires et de recherche ?

La dernière conférence de l’ICOLC (International Coalition of Library Consortia) a été l’occasion de déplorer, une fois de plus malheureusement, la complaisance des éditeurs à s’abriter derrière l’argument de la hausse de la production scientifique internationale (+3 à +4 % par an en moyenne, voir notamment ce rapport de l’International Association of Scientific, Technical and Medical Publishers) pour justifier leurs perpétuelles hausses de tarifs.
Il est vrai que la hausse de contenu est le principal vecteur de croissance du revenu (et donc du cours en bourse pour les éditeurs côtés) dans la mesure où le nombre d’universités et d’organismes de recherche dans le monde est constant et que les marchés indien et chinois auront bientôt été « conquis ». J’aurais toutefois tendance à dire que ce n’est pas notre problème.
Pour continuer à profiter de cette hausse de la production sans susciter d’énormes tollés (ou pire, des désabonnements) de la part de bibliothèques prises à la gorge par les différentes coupes budgétaires, la stratégie actuelle des grands éditeurs semble s’orienter vers la création massive de revues en Gold Open Access (modèle auteur-payeur). Elsevier annonce ainsi la création d’une nouvelle revue en Gold OA toutes les deux semaines environ. L’investissement est minime, le risque business quasi nul (il suffit d’attendre les articles qui viennent tous seuls et non aller chercher les éventuels abonnés), le retour sur investissement confortable, le tout en donnant une image de chevalier blanc de la Science.
Bien évidemment cet investissement dans le Gold OA ne se fait pas au détriment des revues sur abonnement qui restent la principale source de revenus des éditeurs scientifiques. Ici la poule aux œufs d’or s’appelle les « cascade journals ». Il s’agit pour un éditeur de proposer plusieurs revues traitant du même sujet mais de niveau de prestige ou d’exigence différents. Ainsi un papier refusé par une revue de rang « A » peut être publiée dans une revue de rang « B » ou « C ». Le peer-reviewing a déjà été fait, l’auteur (et donc la valeur) est conservé au sein du porte-feuille, bref l’éditeur est content.
Il y a malgré tout fort à parier que cette inflation du nombre d’articles n’aille pas de pair avec l’augmentation globale de la qualité de ces articles. Combien d’articles font simplement état de la compétence de leur auteur, sans pour autant apporter des éléments neufs à leur champ disciplinaire ? Un indice pourrait être le nombre de citations, indice certes bien fruste par rapport à ce que pourrait apporter l’utilisation de description sémantique des relations citant-cité ou même par rapport à certains indicateurs altmetrics , mais qui a le mérite d’être facilement analysable par des outils efficaces, utilisés par les éditeurs et gratuits comme les api CrossRef. Et comme il semble y avoir une corrélation entre usage et nombre de citations (tant que PIRUS n’est pas répandu il sera malgré tout difficile de vérifier cette assertion) , ces articles jamais cités pourraient être très rarement vus, donc inutiles en tant que tels, donc à ne pas prendre en compte dans les estimations globales de coûts à l’article,…
Une brève revue de la littérature laisse penser qu’il n’y a pas eu beaucoup d’études sur ces articles jamais cités. J’ai bien trouvé ces quelques analyses portant principalement sur les articles dans le domaine médical  mais ça semble à peu près tout (amis bibliothécaires si vous avez d’autres références je les prendrai volontiers).
Du coup, prenant mon courage à deux mains et ma clé d’API crossref dans l’autre, je vais essayer de creuser cette question. Il suffit d’avoir une liste de DOIs et un script python codé avec les pieds. On va bien voir ce qu’il en sort, prochainement sur vos écrans.

C’est à Amsterdam, à quelques kilomètres à vol d’oiseau des sièges européens de mastodontes de l’édition scientifique – Elsevier, Wolters-Kluwer, Brill,… – que s’est tenue la session européenne 2010 de l’International Consortium Of Libraries Consortia. L’ICOLC est une structure informelle dont le rôle principal est de faire circuler l’information entre les différents consortia de bibliothèques afin de disposer au niveau local d’un niveau de connaissance du marché au moins égal à celui que détient un éditeur donné lors d’une négociation. Il est alors plus facile de tordre le cou à un des arguments préférés des éditeurs commerciaux qui consiste à dire lors d’une négociation « Mais vous disposez de bien meilleures conditions que le consortium du pays voisin ! ». Pour autant, dans l’idéal, il s’agit également de disposer de quelques coups d’avance par rapport à l’éditeur en disposant de données stratégiques qui ne pourront pas être évoquées ici (je reste par ailleurs volontairement vague sur la nature de ces données). Faire un compte rendu riche et intéressant des débats et échanges qui eurent lieu lors de cet événement sans pour autant dévoiler certains éléments clés relève donc un peu de l’exercice d’équilibrisme.

  • Business as usual

La crise économique internationale a été au centre des échanges de la première session. En guise d’écho au communiqué de janvier 2009 appelant les éditeurs à ne pas augmenter leurs prix entre 2009 et 2010, l’étude sur la hausse réelle des tarifs menée auprès de 61 consortia montre une réalité différente. Même si les consortia nord-américains ont en moyenne mieux réussi à contenir les hausses que leurs homologues européens et asiatiques, force est de constater que les acteurs de l’édition scientifique, qu’ils soient commerciaux ou à but non lucratif, n’ont pas grandement changé leurs habitudes d’avant la crise. Des hausses spectaculaires, supérieures à 15 %, ont même été constatées. Malheureusement, l’issue de la crise et la fin des coupes budgétaires semblent bien lointaines pour certains pays.
L’édition scientifique accrochée à ses modèles économiques et à une croissance à deux chiffres va bientôt être confrontée à une clientèle qui sera bien incapable de suivre cette marche forcée vers plus de services et plus de contenus. Plusieurs collègues des consortia ont fait remarquer l’inflation artificielle de la production scientifique et l’impossibilité actuelle de distinguer à un niveau macroscopique les articles qui font simplement état de la compétence de leurs auteurs avec des publication qui apportent véritablement des éléments nouveaux à la science. D’autres ont manifesté leur agacement face à certains services inadaptés à leur contexte local et pourtant facturés d’une manière ou d’une autre.
Face à ces critiques, les éditeurs Elsevier, Springer et Brill qui avaient été invités pour des sessions spécifiques tiennent un discours rebattu : « Nous oeuvrons dans l’intérêt de la science ». Seul Wiley-Blackwell a annoncé sa volonté de trouver un modèle économique qui encourage les bonnes publications et pas simplement plus de publications. Qu’en pensent les chercheurs ? Qu’en pensent leurs évaluateurs ?

  • La mutualisation, raison d’être des consortia

Le congrès a été l’occasion de montrer par ailleurs que les consortia de bibliothèques ne se limitent pas à l’acquisition de ressources électroniques mais cherchent également à mutualiser les moyens de leurs membres.
Au Royaume-Uni, JISC (Joint Information Systems Committee) s’est saisi depuis plusieurs années des questions de l’archivage des revues électroniques, soutenant des mouvements comme l’UK LOCKSS Alliance ou des projets comme PECAN, dont le but est de trouver la meilleure solution possible pour accéder au contenu souscrit après une annulation de contrat, ou PEPRS, qui vise la construction d’un registre visant à recenser les revues présentant une solution d’archivage pérenne. L’alliance des organismes de recherche allemands s’intéresse également aux questions des revues électroniques mais élargit sa réflexion aux documents numérisés par les bibliothèques.
Une autre collaboration possible réside dans la mise au point d’un système consortial de gestion des ressources électroniques (ERMS). La grande difficulté de tels projets et l’absence de solution véritablement aboutie de la part des fournisseurs font malheureusement que dans certains cas les projets ont vu leur ambition à la baisse (Danemark, Suède) ou ont été annulés (Pays-Bas).

Les membres des consortia ont beau tendre tous vers un objectif commun, la plus large diffusion des travaux de recherches à des conditions acceptables pour tous, il convient de reconnaître qu’ils sont parfois traversé de tensions internes. Les débats que l’on connaît en France – le consensus à tout prix est-il la meilleure solution, faut-il des négociateurs professionnels, comment gérer l’hétérogénéité des structures composant le consortium ?… – se retrouvent partout ailleurs, sans que les solutions trouvées chez les uns puissent s’appliquer telles quelles chez les autres.
Pour autant, contrairement à ce qu’a affirmé non sans malice le PDG de Springer, les consortia ont un avenir. Ce qu’on ne fait que percevoir, le Réseau Canadien de Documentation pour la Recherche l’a montré grâce une série d’indicateurs sur 10 ans, affirmant ainsi sa valeur ajoutée auprès de ses membres et de ses financeurs.

Les digital humanities font partie des choses desquelles on parle, qui existent, oui, mais qu’on ne se force pas trop à creuser.
Ca paraît évident une fois qu’on a dit ce que ça recouvrait, mais on ne le dit pas si souvent. Grosso modo, il s’agit de prendre la mesure des changements que l’apparition du numérique a provoqués dans la recherche, que ce soit en terme de documentation disponible, des possibilités nouvelles offertes pour l’exploitation et l’édition de corpus et pour l’échange des résultats de la recherche. Il est donc à la fois question de contenu et d’outils, de création et d’archivage, et c’est très bien expliqué ici.

A ce sujet, j’ai pu assister à une séance organisée lors du Printemps des SHS par la Maison européenne des sciences de l’homme située à Lille. Au programme, interventions de Marin Dacos, responsable du CLEO, Richard Walter, directeur-adjoint du TGE Adonis et Cynthia Pedroja, chargée de ressources documentaires numériques à la MESHS.

Marin Dacos a surtout mis en avant l’importance d’être en mesure de comprendre les enjeux qui se cachent derrière les concepts – Marin Dacos a parlé de « couches » – que l’on rencontre autour d’Internet, pour une bonne approche des digital humanities et, surtout, pour qu’on arrête d’espérer que les choses se stabilisent avant de daigner mettre les mains dans le cambouis : neutralité du réseau (un e-mail de Barack Obama n’est pas traité plus rapidement que le tweet de Madame Michu), l’assymétrie de la liaison numérique (autrement dit, l’ADSL qui peut mener à une télévisualisation du réseau), etc…

Qu’elles soient porteuses d’idéaux ou de dangers (tout dépend du point de vue duquel on se place), ces couches ont pour principale caractéristique d’être difficilement modifiables une fois mises en place (même si la neutralité du réseau subit actuellement des coups de boutoir, ce n’est pas la première fois que cela arrive), d’où la nécessité d’une certaine vigilance dès qu’une couche se rajoute.

Exemple typique d’un couche à éviter: la création artificielle de rareté. Alors qu’Internet permet une explosion de la documentation, certains acteurs vont tenter de limiter certaines ressources, pour leur donner de la valeur. De nombreuses affaires de trafic de noms de domaine défraient régulièrement  l’actualité. Concernant plus directement la documentation, les DOI, mécanisme permettant d’identifier les données numérisées, peuvent poser à terme ce même problème de création artificielle de rareté. Gérée par la Fondation Internationale DOI, l’attribution de chaque numéro est payante (du coup, on y réfléchit à deux fois avant d’identifier au plus précis chaque partie d’un document, alors que cela pourrait être pertinent pour l’éditeur comme pour le scientifique). Il y a effectivement là un enjeu à ne pas rater, quand on se rend compte de l’importance croissante de la bibliométrie dans le fonctionnement et le financement des laboratoires, ainsi que de l’impérieuse nécessité de pouvoir retrouver un document dans la masse nouvelle du numérique.

Marin Dacos a dévoilé quelques techniques de survie dans ce nouvel écosystème où il y a finalement plus de documents que de lecteurs pour les lire.  Aussi bien du point de vue de celui qui veut se faire identifier que du point de vue de celui qui cherche juste à retrouver, de nombreux outils existent: gestion de signets, de bibliographies, de flux rss, de blogs, etc… Loin d’en promouvoir un plutôt qu’un autre, il a incité à essayer un peu tout, histoire de se faire une idée. Une seule vérification à faire : être en mesure de pouvoir quitter l’outil rapidement sans perdre ses billes. Le choix du libre-accès et des formats ouverts favorisant l’interopérabilité, la longévité, l’ouverture, la transparence et l’exploitation des données peut paraître une évidence. Il est néanmoins bon de le rappeler.

Faire attention à tous ces aspects, c’est également favoriser le crowdsourcing, comme le font des expériences comme  September 11 Digital Archive ou data.gov. Transposée dans le domaine de la recherche, l’idée est d’obtenir un séminaire virtuel permanent, plein de bonnes surprises.

Outre le contenu du discours, c’est le positionnement de Marin Dacos qui m’a vraiment intéressée : loin de vouloir donner l’impression de détenir la vérité et de rabaisser l’assistance à son rang d’inculte, il a affirmé de manière très cohérente son intérêt à la co-invention, qui nécessite de partager avec tous les moyens nécessaires.  Concrètement, on pourra voir ce que ce genre de démarche peut donner très bientôt ici.

Au prochain épisode, l’on apprendra que le métier d’éditeur électronique n’est pas celui que l’on croit.

Non spécialiste des questions relatives à la documentation électronique, force est de constater qu’il me semble de plus en plus indispensable de faire rentrer dans le fonctionnement quotidien des BU tout un tas de choses qui ont du mal à sortir hors du bureau du responsable de la bibliothèque numérique. Avant de pouvoir répandre la bonne parole et trouver les moyens de déplacer le centre de gravité des tâches classiques d’une bibliothèque, à savoir la documentation papier, pour mieux prendre en compte toute la partie immatérielle de nos collections, il est indispensable de savoir de quoi on parle, pour savoir ce qui peut être fait. Alors je m’y colle de plus en plus et comme je pars de loin, j’apprends énormément.

Dans la série des choses auxquelles il faudrait qu’on s’intéresse, mais qui passent après tout le reste (les toilettes bouchées, les plannings à bidouiller, les pannes de filmolux) les questions de bibliométrie.
Lors de la journée d’études co-organisée par Mediadix et l’Urfist de Paris le 13 avril 2010, les interventions avaient pour but, certes de sensibiliser et d’expliquer comment des indicateurs de toutes sortes régissaient de plus en plus le fonctionnement des labos et des universités, mais également de rassembler tous les acteurs actuels et potentiels de cette évaluation, à savoir aussi bien des enseignants-chercheurs que des professionnels de l’infodoc, toutes filières confondues. Pari rempli de mon point de vue, avec des interventions permettant de faire le point sur les enjeux de la bibliométrie, donnant lieu à la présentation d’expériences concrètes, des méthodes et des acteurs dans ce domaine et ouvrant des perspectives à partir des difficultés rencontrées. Les ppt seront mis en ligne, des comptes rendus seront sans doute faits, donc je résume ici uniquement les points qui m’ont le plus marquée (je n’aborde donc pas ici des questions sur les rapports entre qualité et évaluation, je ne dévoile pas ce qu’on entend par boîte à moustaches (cousin des facteurs h, y, g, etc…), et je ne refais pas le procès de Hal, mais ces questions ont bien entendu été abordées).

-Manuel Durand-Barthez, de l’Urfist Paris, regrettait qu’aussi peu de SCD soient impliqués dans la collaboration avec les services de la recherche pour toutes ces questions de bibliométrie. Les solutions pour remédier à cela doivent venir des SCD qui doivent forcer les portes des CS et Services de la recherche en tous genres. Il citait les expériences de collaboration intéressantes de Paris 5 et Bordeaux 2. L’ expérience d’archives ouvertes adossées à une base bibliométrique menée à l’Ifremer, et dont a témoigné Annick Salaün, montre qu’un accompagnement des chercheurs par les professionnels de l’infodoc est essentiel, qu’il s’agisse de sensibilisation à des questions classiques de mots-clés et d’affiliations, par exemple, ou de services rendus (édition de rapports bibliométriques, etc.) . Pour cet établissement, la démarche a été initiée par la tête qui a voulu faire de la bibliothèque un vrai partenaire dans ce domaine, et ça a marché!

-Les indicateurs ainsi que les sources de données ont été accablés pour leurs nombreuses lacunes. Un point qui est revenu souvent fut l’importance de pouvoir prendre la mesure des choses mesurées dans leur environnement: identifier les collaborations entre laboratoires, les collaborations « intellectuelles » en affinant le comptage des citants/cités par exemple, afin d’éviter le piège du « populaire » au détriment du « prestigieux », tout aussi important mais plus difficilement mesurable. C’est donc plus globalement la mesure de l’impact qui a posé question, et qui a même été évoquée par Pierre-Yves Renard au sujet de la mesure de l’activité de la bibliothèque : le groupe ISO chargé de revoir la norme 2789 essaie de prendre en compte cet aspect des choses. En règle générale, chacun s’est accordé sur la difficulté de concevoir un indicateur, qui même quand il est bien construit ne s’accompagne pas automatiquement d’une légitimité indispensable pour le faire vivre (rien qu’à voir le succès du classement de Shangaï, on peut se demander si ce n’est pas l’inverse parfois). Trouver un indicateur pour évaluer les indicateurs? Pour aller au delà de la simple plaisanterie, un bon moyen de qualifier un indicateur pourrait être sa facilité à être restitué.

-C’est le 3e point qui a particulièrement été mis en avant. Pour éviter la redondance et la mise en place d’une organisation chronophage centrée uniquement autour de la collecte des indicateurs, parfois presque au détriment de l’activité du service, il apparaît important de mettre en place un système de saisie unique, plutôt que d’espérer LE document unique servant à toutes les évaluations. L’important semble plutôt d’unifier les sources de données, de faire collaborer les différents acteurs dans le cadre de projets (OST avec Erefin, CNRS avec Ribac et Journalbase, projets locaux en tous genres… C’est pas gagné ), surtout dans la mesure où de plus en plus d’indicateurs risquent d’être demandés (on dépasse les simples questions de bibliométrie ici), tout en étant moins faciles à collecter et pas forcément toujours bien acceptés.

-Finalement, les questions de déontologie n’ont pas fait l’essentiel du débat, mais quelques points à souligner quand même. Quelles alternatives au modèle froid de l’évaluation par les indicateurs? On arrive vite à l’aporie, même si des alternatives permettant de prendre en compte le jugement par les pairs (Faculty of 1000) existent. Certes, il est important de pouvoir caractériser l’activité des unités de recherche, mais à quoi vont vraiment servir ces indicateurs, en fin de compte? Il n’existe pas d’étude pour savoir si des changements de comportement ont été constatés dans la manière de travailler des chercheurs. Si l’objectif le plus évident reste la mise en concurrence des établissements, il n’en reste pas moins que le caractère imparfait des indicateurs et les difficultés liées à leur restitution permet de ne pas espérer le pire pour tout de suite. L’expérience du modèle Sympa, décortiqué de manière limpide par Christophe Genili a eu le mérite de mettre en lumière le côté imparfait des différents indicateurs de performance utilisés par ce modèle, vite neutralisés par l’emploi de moyennes nationales par le Ministère lui même, ce qui a conduit à revoir le modèle en question. Mais une fois qu’on aura trouvé le système parfait? Que se passera-t-il? Il semble vraiment, vraiment important de se tenir informé de ces questions et, cette journée a eu ce mérite, de ne jamais oublier de considérer les indicateurs comme amorce d’un dialogue plutôt que comme une conclusion.

Suivre

Recevez les nouvelles publications par mail.