Étiquettes

, , , , ,

De nombreuses publications permettent de comparer les plateformes de veille selon les fonctionnalités proposées, mais jamais au regard des résultats qu’elles renvoient.
Notre projet de recherche se veut donc innovant, car nous avons pour objectif d’évaluer la qualité de la veille des plateformes Digimind, Sindup et MyTwip par l’intermédiaire des résultats retournés.

Notre étude doit nous permettre de répondre aux 2 questions de recherche ci-dessous :

  • Quelle méthode et quels indicateurs permettent d’évaluer la qualité des plateformes de veille sur la base des résultats retournés ?
  • Quelle est la plateforme la plus performante au regard de cette évaluation ?

Notre méthodologie

Pour ce faire, nous avons effectué une veille de 2 mois sur 3 sujets couvrant des domaines très variés :

  • L’évolution des métiers en sciences de l’information,
  • L’Internet des Objets appliqué au domaine de la santé,
  • Les semi-conducteurs de puissance.

Par ailleurs, nous avons adopté une approche en 2 volets :

  • Les « sources manuelles » (ou SM) : les plateformes doivent retourner les résultats via des sources pertinentes que nous avons relevées en amont et que nous avons insérées manuellement.
    Il est à noter que pour des raisons techniques, nous n’avons pas pu paramétrer MyTwip de cette manière.
  • Les « sources automatiques » (ou SA) : les requêtes ont été entrées dans les plateformes sans indiquer de sources préférentielles de manière à analyser la pertinence de leur propre base de données.

Nos indicateurs pour définir la qualité

Afin de définir la qualité des plateformes, nous avons sélectionné plusieurs indicateurs :

  • La volumétrie : le nombre total de résultats rapportés.
  • La pertinence : la relation entre le besoin en information et les documents attendus. Un document pertinent est un document dans lequel l’utilisateur peut trouver l’information dont il a besoin (Nie 2016).
  • La précision : le rapport entre le nombre de documents pertinents retournés et le nombre total de documents retournés (volumétrie). Cette métrique mesure le bruit documentaire (Desfriches Doria 2015).
  • La complémentarité des résultats : la comparaison des résultats obtenus sur les 3 plateformes et l’identification des URL similaires et différentes.
  • La rapidité de capture : la date de collecte des résultats sur la plateforme. Cela permet de comparer la rapidité des plateformes lorsque celles-ci renvoient un résultat similaire.

Une collecte quotidienne et des requêtes à échantillonner

La veille lancée, nous avons collecté et analysé quotidiennement les résultats renvoyés par les plateformes dans différents tableurs, en relevant :

  • Le titre de l’article,
  • Le nom du site,
  • L’URL,
  • La date d’importation,
  • La pertinence du résultat.
tableur_pour_la_collecte_des_donnees

Exemple de tableur permettant de collecter et analyser les résultats

Certaines requêtes renvoyant trop de résultats ont rapidement été identifiées. Leurs données ont donc été exportées au terme de la période de veille, et échantillonnées de manière aléatoire par ordinateur avec remise.

Nous avons par ailleurs déterminé la taille des échantillons en calculant la progression de la précision. Une précision se stabilisant nous garantissait d’un échantillon représentatif de la population totale.

echantillonnage_evolution_progression_precision

Exemple de tableau et de graphique permettant de visualiser l’évolution de la progression de la précision d’un échantillon.

Une méthodologie satisfaisante ?

Au regard des premiers résultats retournés, nous avons relevé certaines limites à notre méthode, notamment :

  • le bruit de certaines requêtes : pour permettre la comparaison entre les 3 plateformes, nous n’avons pas pris en considération leurs diverses options, qui sont pourtant leur valeur ajoutée.
  • l’évaluation de la pertinence des résultats : cet indicateur est soumis à la subjectivité du veilleur. La difficulté est d’autant plus grande que nous avons dû nous former à 2 des sujets pour lesquels nous ne sommes pas spécialistes.
  • le choix des sujets de veille : bien que variés, ces sujets ne couvrent pas tous les domaines et ne rendent pas compte de tout le potentiel des outils.

Des recommandations pour la suite

Il serait pertinent, avec plus de moyens, de développer une évaluation des résultats à l’aveugle afin de supprimer le biais de la préférence pour une plateforme.

Par ailleurs, il serait intéressant qu’un spécialiste de la veille puisse comparer les plateformes en les paramétrant au mieux selon les options à disposition. De cette manière, les outils seraient évalués selon toute leur capacité, ce qui permettrait peut-être une évaluation plus juste.

Pour en savoir plus sur notre étude, notre billet Peut-on évaluer les plateformes de veille selon les résultats retournés ? développe l’analyse de nos résultats. Notre poster scientifique Evaluation de la qualité des résultats de la veille : comparaison des plateformes Digimind, Sindup et MyTwip permet également de visualiser notre projet de recherche.

Fanny Quiquerez & Floriane Minana

Sources

DESFRICHES DORIA, Orélie, 2015. Le rôle de l’activité dans l’évaluation de l’information, The role of activity in information evaluation. Document numérique. 23 avril 2015. Vol. 18, n° 1, p. 936.

NIE, Jian-Yun, 2016. Introduction à la RI. Université de Montréal [en ligne]. 2016. [Consulté le 12 mai 2017]. Disponible à l’adresse : http://www.iro.umontreal.ca/~nie/IFT6255/Introduction.pdf

Publicités