Shanghai Kid

Alors que l'automne s'est désormais bien installé sur le pays, et en attendant de parler des prix Nobel qui en cette saison tombent tels des feuilles de marronniers, je reviens aujourd'hui sur le tristement célèbre classement académique des universités mondiales par l'université Jiao Tong de Shanghai, dit classement de Shanghai. Ce classement, présenté comme un palmarès incontournable des meilleures universités du monde, est devenu le phare lumineux de ceux parmi les décideurs politiques qui ont compris de la science, de l'enseignement et de la recherche qu'on pouvait les résumer à l'optimisation d'un indicateur statistique imparfait.

Ce classement, qui comme son nom l'indique a été mis au point par des chercheurs de l'Université Jiao Tong de Shanghai, avait pour objectif initial (merci Wikipédia) de fournir au président de l'université concernée un indicateur permettant d'identifier les universités au sein desquelles envoyer en priorité des étudiants lors d'échanges internationaux. En soi cet objectif n'a rien de contestable (l'échange international étant toujours fortement encouragé, que ce soit au niveau des étudiants comme à celui des équipes de recherche) et on peut comprendre l'intérêt pour un président d'université de se munir à cet effet d'un outil rapide d'accès et développé en interne, même si sujet à des approximations (et à une vision spécifique des critères sur lesquels baser ses préférences). Le soucis que pose ce classement c'est qu'étant le seul (le premier ?) connu et communiqué dans ce domaine, il est rapidement devenu une marotte médiatique et, échappant à son objectif premier, est devenu un outil de comparaison des établissements et des politiques d'enseignement supérieur et de recherche, poussant certains décideurs politiques à en faire le point central de leur politique universitaire.

Or l'utilisation de ce classement à cette fin de pilotage de politique de recherche nationale présente deux défauts clairs et incontestables. Le plus évident est une méprise sur l'objet étudié : il ne s'agit pas d'un indicateur des performances d'enseignement et de recherche des états, mais d'un ensemble d'établissements. Il favorise donc intrinsèquement les établissements de grande taille (car plus visibles dans le classement) et peut donc donner une vision faussée de la performance de chaque état dans le domaine, en fonction de la stratégie de répartition des universités sur le territoire (quelques gros centres universitaires versus un maillage de petites universités de proximité). Par exemple, les Etats-Unis comptent 158 universités publiques (et quelques 4000 établissements d'enseignement supérieur privé) pour plus de 317 millions d'habitants (1 pour 2 millions d'habitants), dans le même temps la France compte 75 universités pour 65 millions d'habitants (1 pour 866000 habitants), ce qui reflète une organisation de l'enseignement et de la recherche publique beaucoup plus éclatée (et encore je ne parle pas des organismes de recherche purs). On peut d'ores et déjà en déduire que vouloir comparer la performance des politiques publiques d'enseignement et de recherche américaines et françaises à partir des performances individuelles de leurs établissements est un non sens. Si en plus on considère que parmi les 10 meilleurs universités américaines (occupant les places 1 à 12 du classement) 8 sont en réalité des établissements privés (les seuls établissements publics étant Berkeley et l'Université de Californie), on peut réaliser à quel point cet indicateur n'est pas employable pour jauger de la performance d'une politique nationale.

L'aspect le plus pernicieux de ce classement est ensuite qu'il représente une certaine vision de ce que doit être une « bonne » université, vision qui n'est pas forcément universelle, loin de là. Si l'on observe les critères du classement de Shanghai, on peut en conclure que du point de vue du président de l'université Jiao Tong, une bonne université est une université :

• qui a formé des chercheurs ayant ensuite remporté le prix Nobel ou la médaille Fields,
• qui emploie actuellement des chercheurs ayant ensuite remporté le prix Nobel ou la médaille Fields,
• qui emploie des chercheurs très cités dans leur discipline,
• qui publie beaucoup, mais uniquement dans Nature et dans Science,
• qui est beaucoup citée dans Science citation index et Art & Humanities citation index.

Il apparaît rapidement que ces critères contribuent à former une simple évaluation de surface et ne sont certainement pas pertinents pour déterminer à quel point un établissement rempli ses missions. D'autant que les missions dédiées à l'université sont dépendantes des choix politiques de chaque état. Par exemple, en France, la performance d'une université en terme d'enseignement est évaluée par son taux de réussite aux niveaux Licence, Master, Doctorat, par le taux (et la qualité) d'insertion professionnelle à 1 an pour les étudiants ayant quitté l'établissement après leur diplôme et par le taux de poursuite d'études après certaines formations. Autant de critères qui visiblement n'intéressent par l'université Jiao Tong qui ne semble vouloir que former quelques futurs Nobel, quitte à laisser pour cela une cohorte d'étudiants non diplômés en bout de chaîne. Du coté de la recherche, la restriction si forte à deux revues d'excellence (et ces derniers temps un peu chahutées) et aux distinctions les plus prestigieuses (souvent décernées 10 à 20 ans après les travaux qui les ont méritées) tient de coté l'immense majorité de l'activité scientifique, et oublie des disciplines entières (dont toutes les sciences humaines, sociales, juridiques, etc).

Le classement de Shanghai devrait donc rester ce qu'il a toujours été : un outil permettant au président d'une université précise d'identifier des partenaires de travail intéressants au regard de la politique de son établissement. Vouloir s'en servir comme classement mondial des performances universitaires et des performances des politiques publiques est une erreur qui ne peut conduire qu'à des décisions inappropriées aux situations locales et à des biais de perception sur le rôle de l'université dans la vie civile. Manque de chance, les médias se sont emparés de ce classement et le récitent chaque année à l'envie, sans être dissuadés par les problèmes de critères et de méthodologie qu'ils pensent pourtant souvent à rappeler. Voici donc nos décideurs poussés à entreprendre des politiques universitaires dont ils savent qu'elles seront évaluées à travers l'évolution annuelle de ce classement, pour le meilleur et pour le pire.

Bien entendu, nous pourrions décider d'entreprendre un autre classement ou indicateur, et il en existe déjà, comme le QS World University Rankings ou le Times Higher Education World University Rankings. Mais nous savons déjà à quel point il est difficile de mettre en place et diffuser un nouveau standard de classement/évaluation quand il existe déjà un outil rapide et simple à comprendre (même si cruellement imparfait) à portée de main. Reste donc à trouver un moyen de continuer à remplir efficacement nos missions et faire notre travail tout en apportant satisfaction relative aux critères du classement dominant de l'époque.

Ceci dit, j'aimerais bien voir ce que l'on arriverait à faire en France si on avait le taux d'encadrement et le budget par étudiant d'un établissement comme Harvard.