Mots-clés

, , ,

Dans notre billet La création d’une méthode d’évaluation pour définir la qualité des plateformes de veille, nous avons expliqué la mise en place d’une méthode d’évaluation innovante devant nous permettre de définir la qualité de 3 plateformes de veille étudiées : Digimind, Sindup et MyTwip.

Ce billet s’attache à résumer les résultats que nous avons obtenus.

Des résultats très hétérogènes …

Volumétrie

SA_nb type de resultats par plateforme

En ce qui concerne les “sources manuelles” (SM)* tous sujets de veille confondus, Digimind a retourné davantage de résultats que Sindup. Si l’on regarde les résultats retournés par sujet de veille, cette tendance se confirme puisque c’est systématiquement Digimind qui rapporte le plus de résultats.

SA_nb et type de resultats par plateforme

Pour ce qui est des « sources automatiques » (SA)**, tous sujets confondus, Sindup a rapporté 5 fois plus de résultats que Digimind et 90 fois plus que MyTwip. Cette dernière se place donc très clairement comme étant la plateforme ayant retourné le moins de résultats. De plus, si l’on compare le nombre de résultats pertinents collectés par les plateformes, nous pouvons en déduire que Digimind et MyTwip produisent du silence par rapport à leur concurrente Sindup.

Alors que pour le sujet des Sciences de l’information, Digimind a collecté nettement plus de résultats, pour les deux autres sujets, c’est Sindup qui se place en tête avec notamment près de 15’000 résultats uniquement pour le sujet des semi-conducteurs de puissance. Ce total est dû à 2 requêtes qui ont rapporté un nombre très élevé de résultats.

Pertinence et précision

SM_precision sujet plateformeSur la totalité des données collectées pour les SM, Digimind a retourné 817 résultats pertinents et Sindup 435. Leurs taux de précision sont respectivement de 70.6% pour la première et de 45.5% pour la seconde. La plateforme Digimind se place donc en tête au regard de cet aspect.

SA_precision sujet plateformeEn revanche, en ce qui concerne les SA, la précision de Digimind est nettement moins élevée puisqu’elle se situe à 4.8%. Ce faible taux est dû à 2 requêtes qui, pour des raisons que l’on ignore, ont généré énormément de résultats non pertinents. C’est MyTwip qui présente le meilleur taux de précision totale (qui s’élève à 70.5%) ainsi que pour chacun des trois sujets de veille. De plus, Sindup a un taux de précision totale proche de celui de MyTwip avec 66.3% de résultats pertinents retournés. Ce taux élevé est dû au sujet de veille sur les semi-conducteurs de puissance pour lequel la plateforme a récolté énormément de résultats pertinents ce qui, de ce fait, a une incidence directe sur sa précision.

Ajoutons enfin que pour les sujets Sciences de l’information et  semi-conducteurs de puissance, la précision est meilleure lorsque les plateformes interrogent les SM que les SA. Ceci n’est cependant pas le cas pour le sujet IOT.

Complémentarité

Capture d_écran 2017-12-29 à 11.46.06

A propos des SM, Digimind rapporte davantage de résultats qui lui sont propres, et possède par conséquent un taux de complémentarité plus important.

Capture d_écran 2017-12-29 à 11.46.19Pour ce qui est des SA, c’est cependant Sindup qui a le taux de complémentarité le plus élevé avec 99% de résultats qui lui sont propres, et ce, malgré qu’elle soit la plateforme partageant le plus de résultats avec ces deux concurrentes MyTwip et Digimind.

Rapidité de capture

En comparant les dates de collecte des résultats communs entre les différentes plateformes, nous avons observé que la majorité d’entre eux ont été retournés le même jour. Cependant, lorsqu’une plateforme retourne un résultat un ou plusieurs jours avant sa concurrente, il s’agit presque toujours de Sindup.

Une tendance qui se dégage …

Afin de pouvoir répondre à notre question de recherche qui était de savoir quelle plateforme est la plus performante au regard des résultats retournés, nous avons, pour chaque indicateur, attribué des points à chacune des plateformes, 1 étant le meilleur rang. Ainsi, la plateforme obtenant le score le plus bas est celle qui obtient les meilleurs résultats.

En ce qui concerne les SM, Digimind a obtenu 6 points contre 9 pour sa concurrente Sindup. Nous pouvons donc en conclure que la plateforme est le plus performante sur ce type de sources. Pour les SA en revanche, c’est Sindup qui totalise le moins de points (6) et qui se place ainsi première, puis Digimind (11 points), suivie de près par MyTwip (12 points)

Un projet à suivre …

Vous pourrez consulter l’intégralité de notre travail et de nos conclusions très prochainement sur la plateforme RERO doc.

* Les « sources manuelles » (ou SM) sont les résultats retournés par les plateformes via des sources que nous avons relevées en amont comme étant pertinentes, et que nous avons insérées manuellement.

** Les « sources automatiques » (ou SA) correspondent aux résultats retournés par les plateformes lorsque nous avons entré nos requêtes sans indiquer de sources préférentielles, de manière à analyser la pertinence de leurs propres sources.

Publicités