Mesurer l'impact de la recherche

Question 1

Qu’est-ce que altmetrics?

Answer 1

Ensemble des méthodes de mesure, d’analyse et de suivi de la communication savante basées sur le Web social
Un pointage est attribué selon le nombre de mentions de l’article dans une variété de sources. Altmetric est intégré chez plusieurs éditeurs

Question 2

Quelles sont les caractéristiques et limites des indicateurs alternatifs d’impact?

Answer 2

• Mesure de l’impact potentiel et immédiat d’un article en analysant sa dissémination et sa discussion: donne un aperçu des interactions du public avec votre recherche.
• Permettent de détecter l’impact « caché » des articles – exemple d’un article cité seulement 29 fois (WoS), mais très diffusé dans la communauté scientifique.
• Activité savante ≠ activité publique: il ne s’agit pas d’un « examen par les pairs » spontané.
• La reproductibilité des résultats est contestée (volatilité des réseaux sociaux).
• La science n’a parfois rien à voir avec la popularité d’un article.
• Utilisés en complément des outils bibliométriques traditionnels

Question 3

Quelles sont 5 sources de données pour altmetrics?

Answer 3

Utilisation (visite, téléchargement)
Saisies (signet, partage)
Mentions (blogue, Wikipédia, nouvelle)
Médias sociaux (Facebook, Twitter, Pinterest, G+)
Citations (Scopus, WoS, Google Scholar)

Question 4

Quelle est l’influence des mesures d’impact traditionnelles?

Answer 4

Nbre de citations, facteur d'impact des revues davantes, h-index ==>
Titularisation
Promotion
Allocations de fonds
Embauche
Classement des établissements

Question 5

Qu’est-ce que l’unité de base de la bibliométrie?

Answer 5

• Le nombre de fois qu’un document a été cité dans la littérature savante.
• Attention: nombre de citations élevé ≠ influence sur la recherche scientifique… On peut seulement affirmer que les articles les plus cités ont été les plus utiles à d’autres auteurs, mais sans en connaître la raison.
• On doit attendre de 2 à 3 ans après la publication d’un article avant de considérer la fiabilité des données de citation

Question 6

Quelles sont les 3 prinipales sources de données à l’UdeM?

Answer 6

• Il n’existe pas encore de source infaillible qui peut se targuer de repérer TOUTES les citations d’un document!
• Les données de citation pour un même article varient donc d’une source de données à l’autre, car la couverture de chacune diffère (titres en langues autres que l’anglais; types de documents inclus: actes de congrès, livres, sites Web, etc.).
 Web of Science (Clarivate Analytics): Possibilité d’analyser les citations ou de créer des alertes.
 Google Scholar Citations: Utile pour repérer des références en français, mais voir une critique de l’outil.
 Dimensions (Digital Science): Inclut aussi des données altmetrics de Plum Analytics.

Question 7

Qu’est-ce que le journal citation reports?

Answer 7

JCR: outil permettant de comparer l’impact des revues d’une même discipline
• Journal Citation Reports : compilation annuelle des citations des articles indexés dans Web of Science.
• Facteur d’impact = le nombre de fois en moyenne que les articles d’une revue publiés au cours des 2 dernières années ont été cités au courant de l’année de référence.
• Certaines disciplines dénombrent plus de chercheurs et plus de revues que d’autres domaines. On peut difficilement comparer la biologie moléculaire avec la médecine /dentaire, par exemple.

Question 8

Quelles sont des critiques sur le facteur d’impact des revues savantes?

Answer 8

• Publier un article dans une revue à haut facteur d’impact comme Nature ou Cell ne garantit pas un taux de citation élevé. Le facteur d’impact est un indicateur d’impact des revues, pas des articles.
• Le facteur d’impact d’une revue est majoritairement déterminé par une petite fraction de ses articles. La plupart des articles ne sont presque pas cités!
• Le Relative Citation Ratio serait une mesure plus fiable de l’impact: il est basé sur la performance (citations) d’un article relativement à celle des autres articles du même domaine, plutôt que sur l’impact d’une seule revue
• Selon la déclaration DORA:
 State that scientific content of a paper, not the Impact Factor of the journal where it was published, is what matters.
 Consider value from all outputs and outcomes generated by research

Question 9

Qu’est-ce que le h-index?

Answer 9

• Un chercheur avec un indice de h a publié h articles qui ont été cités au moins h fois.
• L’indicateur permet d’accorder moins d’importance aux articles qui ont été très cités, et de même, aux articles qui n’ont pas été cités du tout (rapport qualité/quantité).
• Peut aussi s’appliquer à un groupe de scientifiques, par exemple aux chercheurs d’une institution.
• Le h-index ne tient pas compte du “rang” de l’auteur dans une publication à plusieurs auteurs (tous sont considérés égaux dans le calcul de l’indicateur, bien que leur participation individuelle au contenu peut varier).
• Chercheur qui a tendance à s’auto-citer = ↑ h-index.

Question 10

Quels sont d’autres facteurs influençant le h-index?

Answer 10

• Types d’auteurs à éviter :
 auteurs-cadeaux (échange de bons services);
 auteurs-honoraires (directeur du labo qui n’a pas participé à la rédaction);
 auteurs-prestige (inclus pour mousser la réputation de l’article);
 auteurs-fantômes (qui ont rédigé mais n’ont pas participé à la recherche).
• Les auteurs doivent se conformer aux recommandations pour la conduite, la présentation, la rédaction et la publication des travaux de recherche soumis à des revues médicales de l’International Committee of Medical Journal Editors

Question 11

Qu’est-ce que InCites?

Answer 11

Outil d’évaluation de l’impact d’une institution
• Analyse en profondeur des collaborations: entre chercheurs d’une institution, au Canada, à l’international…
• Comparaison entre départements ou entre institutions selon les domaines de recherche.
• Sources de financement, publication en libre accès.
• Permet la création de rapports personnalisés.