Non spécialiste des questions relatives à la documentation électronique, force est de constater qu’il me semble de plus en plus indispensable de faire rentrer dans le fonctionnement quotidien des BU tout un tas de choses qui ont du mal à sortir hors du bureau du responsable de la bibliothèque numérique. Avant de pouvoir répandre la bonne parole et trouver les moyens de déplacer le centre de gravité des tâches classiques d’une bibliothèque, à savoir la documentation papier, pour mieux prendre en compte toute la partie immatérielle de nos collections, il est indispensable de savoir de quoi on parle, pour savoir ce qui peut être fait. Alors je m’y colle de plus en plus et comme je pars de loin, j’apprends énormément.

Dans la série des choses auxquelles il faudrait qu’on s’intéresse, mais qui passent après tout le reste (les toilettes bouchées, les plannings à bidouiller, les pannes de filmolux) les questions de bibliométrie.
Lors de la journée d’études co-organisée par Mediadix et l’Urfist de Paris le 13 avril 2010, les interventions avaient pour but, certes de sensibiliser et d’expliquer comment des indicateurs de toutes sortes régissaient de plus en plus le fonctionnement des labos et des universités, mais également de rassembler tous les acteurs actuels et potentiels de cette évaluation, à savoir aussi bien des enseignants-chercheurs que des professionnels de l’infodoc, toutes filières confondues. Pari rempli de mon point de vue, avec des interventions permettant de faire le point sur les enjeux de la bibliométrie, donnant lieu à la présentation d’expériences concrètes, des méthodes et des acteurs dans ce domaine et ouvrant des perspectives à partir des difficultés rencontrées. Les ppt seront mis en ligne, des comptes rendus seront sans doute faits, donc je résume ici uniquement les points qui m’ont le plus marquée (je n’aborde donc pas ici des questions sur les rapports entre qualité et évaluation, je ne dévoile pas ce qu’on entend par boîte à moustaches (cousin des facteurs h, y, g, etc…), et je ne refais pas le procès de Hal, mais ces questions ont bien entendu été abordées).

-Manuel Durand-Barthez, de l’Urfist Paris, regrettait qu’aussi peu de SCD soient impliqués dans la collaboration avec les services de la recherche pour toutes ces questions de bibliométrie. Les solutions pour remédier à cela doivent venir des SCD qui doivent forcer les portes des CS et Services de la recherche en tous genres. Il citait les expériences de collaboration intéressantes de Paris 5 et Bordeaux 2. L’ expérience d’archives ouvertes adossées à une base bibliométrique menée à l’Ifremer, et dont a témoigné Annick Salaün, montre qu’un accompagnement des chercheurs par les professionnels de l’infodoc est essentiel, qu’il s’agisse de sensibilisation à des questions classiques de mots-clés et d’affiliations, par exemple, ou de services rendus (édition de rapports bibliométriques, etc.) . Pour cet établissement, la démarche a été initiée par la tête qui a voulu faire de la bibliothèque un vrai partenaire dans ce domaine, et ça a marché!

-Les indicateurs ainsi que les sources de données ont été accablés pour leurs nombreuses lacunes. Un point qui est revenu souvent fut l’importance de pouvoir prendre la mesure des choses mesurées dans leur environnement: identifier les collaborations entre laboratoires, les collaborations « intellectuelles » en affinant le comptage des citants/cités par exemple, afin d’éviter le piège du « populaire » au détriment du « prestigieux », tout aussi important mais plus difficilement mesurable. C’est donc plus globalement la mesure de l’impact qui a posé question, et qui a même été évoquée par Pierre-Yves Renard au sujet de la mesure de l’activité de la bibliothèque : le groupe ISO chargé de revoir la norme 2789 essaie de prendre en compte cet aspect des choses. En règle générale, chacun s’est accordé sur la difficulté de concevoir un indicateur, qui même quand il est bien construit ne s’accompagne pas automatiquement d’une légitimité indispensable pour le faire vivre (rien qu’à voir le succès du classement de Shangaï, on peut se demander si ce n’est pas l’inverse parfois). Trouver un indicateur pour évaluer les indicateurs? Pour aller au delà de la simple plaisanterie, un bon moyen de qualifier un indicateur pourrait être sa facilité à être restitué.

-C’est le 3e point qui a particulièrement été mis en avant. Pour éviter la redondance et la mise en place d’une organisation chronophage centrée uniquement autour de la collecte des indicateurs, parfois presque au détriment de l’activité du service, il apparaît important de mettre en place un système de saisie unique, plutôt que d’espérer LE document unique servant à toutes les évaluations. L’important semble plutôt d’unifier les sources de données, de faire collaborer les différents acteurs dans le cadre de projets (OST avec Erefin, CNRS avec Ribac et Journalbase, projets locaux en tous genres… C’est pas gagné ), surtout dans la mesure où de plus en plus d’indicateurs risquent d’être demandés (on dépasse les simples questions de bibliométrie ici), tout en étant moins faciles à collecter et pas forcément toujours bien acceptés.

-Finalement, les questions de déontologie n’ont pas fait l’essentiel du débat, mais quelques points à souligner quand même. Quelles alternatives au modèle froid de l’évaluation par les indicateurs? On arrive vite à l’aporie, même si des alternatives permettant de prendre en compte le jugement par les pairs (Faculty of 1000) existent. Certes, il est important de pouvoir caractériser l’activité des unités de recherche, mais à quoi vont vraiment servir ces indicateurs, en fin de compte? Il n’existe pas d’étude pour savoir si des changements de comportement ont été constatés dans la manière de travailler des chercheurs. Si l’objectif le plus évident reste la mise en concurrence des établissements, il n’en reste pas moins que le caractère imparfait des indicateurs et les difficultés liées à leur restitution permet de ne pas espérer le pire pour tout de suite. L’expérience du modèle Sympa, décortiqué de manière limpide par Christophe Genili a eu le mérite de mettre en lumière le côté imparfait des différents indicateurs de performance utilisés par ce modèle, vite neutralisés par l’emploi de moyennes nationales par le Ministère lui même, ce qui a conduit à revoir le modèle en question. Mais une fois qu’on aura trouvé le système parfait? Que se passera-t-il? Il semble vraiment, vraiment important de se tenir informé de ces questions et, cette journée a eu ce mérite, de ne jamais oublier de considérer les indicateurs comme amorce d’un dialogue plutôt que comme une conclusion.